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本 书 是 关于 概率 理论 的 综合 指南 ， 其 中 总 结 了 大 量 关 键 结论 ， 扩 展 了 各 种 可 应 用 到 信号 处 理 
领域 的 统计 技术 。 本 书 是 一 本 适用 于 工程 师 学 习 概率 原理 的 书 ， 它 给 出 了 一 个 比 本 科 生 通常 使 用 
的 相关 书籍 更 严格 的 数学 框架 。 它 可 用 于 对 概率 和 随机 变量 较 熟 悉 ， 但 不 一 定 涉猎 过 随机 过 程 和 
随机 信号 作用 下 系统 的 一 年 级 研究 生 ， 也 可 用 于 具有 很 强 数 学 背景 的 高 年 级 本 科 生 ， 以 及 信号 处 
理 领域 的 工程 师 。 


本 书 特 色 


e 附录 不 仅 包括 积分 、 重 要 的 不 等 式 和 恒等式 、 频 域 变换 以 及 线性 代数 ， 还 包括 对 33 个 随机 变 
量 及 其 特性 的 总 结 ， 将 这 些 内 容 包括 进来 使 得 本 书 相对 独立 。 

° 本 书 图 文 并 茂 ， 结 合 六 百 多 张 插 图 和 Matlab 图 来 对 重要 的 知识 点 进行 详细 说 明 。 

° 详细 讨论 充分 统计 量 以 及 它们 与 参数 估计 的 联系 。 包 括 经 典 的 贝 叶 斯 估计 和 几 个 最 优 准 则 : 
均 方 误差 、 平 均 绝对 误差 、 最 大 似 然 法 、 甜 方法 、 最 小 二 乘法 。 
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文艺 复兴 以 来 ， 源 远 流 长 的 科学 精神 和 逐步 形成 的 学 术 规范 ， 使 西方 国家 在 自然 科学 
的 各 个 领域 取得 了 垄断 性 的 优势 ; 也 正 是 这 样 的 传统 ， 使 美国 在 信息 技术 发 展 的 六 十 多 年 
间 名 家 辈出 、 独 领 风骚 z 在 商业 化 的 进程 中 ， 美 国 的 产业 界 与 教育 界 越 来 越 紧密 地 结合 ， 
信息 学 科 中 的 许多 泰山 北斗 同时 身 处 科研 和 教学 的 最 前 线 ， 由 此 而 产生 的 经 典 科学 著作 ， 
不 仅 壁 划 了 研究 的 范畴 ， 还 揭示 了 学 术 的 源 变 ， 既 遵循 学 术 规 范 ， 又 自 有 学 者 个 性 ， 其 价 
值 并 不 会 因 年 月 的 流逝 而 减退 。 

近年 ， 在 全 球 信息 化 大 潮 的 推动 下 ， 我国 的 信息 产业 发 展 迅 猛 ， 对 专业 人 才 的 需求 日 
益 迫 切 。 这 对 我 国教 育 界 和 出 版 界 都 既是 机 遇 ， 也 是 挑战 ; 而 专业 教材 的 建设 在 教育 战略 
上 显得 举足轻重 a 在 我 国信 息 技 术 发 展 时 间 较 短 的 现状 下 ， 美 国 等 发 达 国家 在 其 信息 科学 
发 展 的 几 十 年 间 积 淀 和 发 展 的 经 典 教材 仍 有 许多 值得 借鉴 之 处 。 因 此 ， 引 进 一 批 国外 优秀 
教材 将 对 我 国教 育 事业 的 发 展 起 到 积极 的 推动 作用 ， 也 是 与 世界 接轨 、 建 设 真正 的 世界 一 
流 大 学 的 必由之路 。 

机 械 工 业 出 版 社 华章 公司 较 早 意识 到 “出 版 要 为 教育 服务 ”"。 自 1998 年 开始 ， 我 们 就 
将 工作 重点 放 在 了 六 选 、 移 译 国外 优秀 教材 上 。 经 过 多 年 的 不 懈 努 力 ， 我们 与 Pearson, 
McGraw-Hill、Elsevier、John Wiley & Sons. CRC. Springer 等 世界 著名 出 版 公司 建立 
了 和 良好 的 合作 关系 ， 从 他 们 现 有 的 数 百 种 教材 中 甄选 出 Alan V. Oppenheim Thomas L. 
Floyd. Charles K. Alexander、Behzad Razavi, John G. Proakis、Stephen Brown. Allan 
R. Hambley, Albert Malvino, Peter Wilson, H. Vincent Poor, Hassan K. Khalil, Gene 
F. Franklin, Rex Miller 等 大 师 名 家 的 经 典 教材 ， 以 “国外 电子 与 电气 技术 丛书 ”和 “国外 工 
业 控制 与 智能 制造 丛书 ”为 系列 出 版 ， 供 读者 学 习 、 研 究 及 珍藏 。 这 些 书籍 在 读者 中 树立 
了 良好 的 口碑 ， 并 被 许多 高 校 采 用 为 正式 教材 和 参考 书籍 。 其 影印 版 “经 典 原版 书库 ”作为 
姊妹 篇 也 越 来 越 多 被 实施 双语 教学 的 学 校 所 采用 。 

权威 的 作者 、 经 典 的 教材 、 一 流 的 译 者 、 严 格 的 审 校 、 精 细 的 编辑 ， 这 些 因素 使 我 们 
的 图 书 有 了 质量 的 保证 。 随 着 电气 与 电子 信息 学 科 建设 的 不 断 完 善 和 教材 改革 的 逐渐 深 
化 ， 教 育 界 对 国外 电气 与 电子 信息 教材 的 需求 和 应 用 都 将 步 人 一 个 新 的 阶段 ， 我 们 的 目标 
是 尽善尽美 ， 而 反馈 的 意见 正 是 我 们 达到 这 一 终极 目标 的 重要 帮助 。 华 章 公 司 欢迎 老师 和 
读者 对 我 们 的 工作 提出 建议 或 给 予 指正 ， 我 们 的 联系 方法 如 下 : 


华章 网 站 :. www. hzbook. com 
电子 邮件 ， hzjsj@ hzbook. com 
联系 电话 : (010)88379604 


联系 地 址 ; 北京 市 西城 区 百 万 庄 南 街 ] 号 | 
邮政 编码 : 100037 华章 科技 图 书 出 版 中 心 





— Ë 者 B. 


John J. Shynk 教授 ，1986 年 从 美国 斯 坦 福 大 学 获得 博士 学 位 ， 现 任 美国 加 州 大 学 圣 
巴巴 拉 分 校 电气 和 计算 机 工程 系 教 授 ， 致 力 于 自 适应 信号 处 理 技术 在 通信 和 生物 工程 方面 
的 应 用 研究 。 作 者 以 多 年 的 教学 和 科研 经 验 为 基础 撰写 了 本 书 ， 通 过 对 测度 论 、 域 以 及 对 
随机 过 程 的 相关 性 和 它 的 用 途 的 深入 探讨 提供 了 对 概率 、 随 机 变量 和 随机 过 程 的 更 严格 的 
数学 框架 。 本 书 第 1 章 是 全 书 的 概述 以 及 相关 背景 知识 的 介绍 ， 使 读者 在 一 开始 就 对 本 书 
将 要 介绍 的 内 容 有 基本 了 解 。 之 后 全 书 分 为 三 部 分 ， 分 别 讨论 了 概率 、 随 机 变量 和 数学 期 
望 ;随机 过 程 、 系 统 和 参数 估计 以 及 这 些 概 率 理论 在 信号 处 理 和 通信 中 的 应 用 。 书 中 给 出 
了 大 量 的 例题 和 图 表 ， 对 各 种 方法 进行 总 结 ， 对 不 同 参数 的 结果 进行 对 比分 析 ， 加 深 读 者 
对 各 种 定理 ` 定律 的 理解 。 其 他 基础 教材 中 常 被 忽略 或 没有 充分 说 明 的 许多 问题 在 本 书 中 
也 有 和 较 详细 的 解释 。 书 中 还 提供 了 研究 数字 通信 、 信 息 论 、 自 适应 滤波 、 线 性 和 非 线 性 估 
计 和 检测 等 课题 的 必要 的 背景 知识 ， 并 在 附录 中 提供 了 相关 的 数学 和 信和 号 与 系统 的 背景 材 
料 ， 使 本 书 相 对 独立 。 

本 书 针 对 工程 领域 的 一 年 级 和 二 年 级 研究 生 ， 也 可 用 于 在 概率 与 随机 过 程 方面 具有 相 
关 数 学 背景 的 高 年 级 本 科 生 。 作 者 在 前 言 中 给 出 了 针对 不 同 课 时 的 详尽 的 教学 建议 供 
参考 。 

参加 本 书 翻译 工作 的 有 谢 晓 霞 (前 言 、 符 号 说 明 、 第 6 章 、 第 7 章 、 第 9 章 ， 附 录 A~ 
D, REK), RAHA 4. 5M. BSH. 附录 下 ~G)、 许 可 (第 1 一 3 章 )。 最 后 由 
谢 晓 霞 对 全 书 的 译文 进行 审 校 。 

由 于 译 者 水 平 有 限 ， 书 中 难免 有 不 当 之 处 ， 敬 请 读者 批评 指正 。 
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本 书 旨 在 给 出 概率 、 随 机 变量 和 随机 过 程 的 一 个 数学 框架 ， 它 比 大 多 数 本 科 院 校 普遍 
使 用 的 概率 和 统计 教材 更 严格 = 本 书 专门 为 一 年 级 的 研究 生 设 计 ， 如 果 教 师 忽 略 其 中 一 些 
更 关注 理论 的 部 分 ， 则 本 书 也 可 用 于 具有 很 强 数学 背景 的 高 年 级 本 科 生 。 本 书 有 以 下 几 个 
特点 : 


e 给 出 大 量 总 结 各 种 技术 和 显示 例题 结果 的 详细 的 图 和 表 ， 包 括 利 用 MATLAB 产生 
的 600 多 个 插图 ， 旨 在 使 本 书 更 有 说 服 力 。 

e 包括 对 基础 教材 中 没有 涉及 的 许多 问题 进行 说 明 的 例子 。 每 章 还 包含 家 庭 作 业 ， 并 
提供 答案 给 教师 。 

e 附录 中 提供 的 相关 的 数学 和 信号 与 系统 的 背景 材料 ， 使 这 本 书 相 对 独立 。 附 录 A 给 
出 一 些 参 数 的 单 变量 分 布 的 总 结 。 

e° 本 书 第 三 部 分 介绍 了 信号 处 理 和 通信 应 用 ， 这 些 都 是 学 生 在 以 后 的 工程 类 课程 中 可 
能 遇 到 的 问题 。 这 些 介绍 性 的 材料 基于 美国 加 州 大 学 圣 巴巴 拉 分 校 开 设 的 几 门 统计 
课程 。 


第 1 章 包括 全 书 的 概述 以 及 线性 系统 和 频 域 变换 的 介绍 。 全 书后 面 分 为 三 部 分 ， 每 部 
分 包括 四 章 : 
e 第 一 部 分 (第 2—5 章 ): 概率 论 ; 随机 变量 ; 多 维 随机 变量 ; WANE. 
e 第 二 部 分 (第 6—9 章 ): 随机 过 程 ; 随机 收敛 、 微 积分 和 分 解 ; 系统 、 骂 声 和 谱 估 
计 ; 充分 统计 量 和 参数 估计 。 I 
e 第 三 部 分 (第 10—13 章 ): 通信 系统 与 信息 论 ; 最 优 滤波 ; 自 适应 滤波 ; 均衡 、 波 
束 赋 形 和 测 向 。 这 四 个 章节 位 于 www. wiley. com/go/randomprocesses , ° 
第 2 章 介 绍 了 基本 的 概率 ， 重 点 介绍 的 是 离散 试验 。 介 绍 了 样本 空间 、 事 件 和 域 ， 提 
供 了 抽象 概率 空间 {QQ， 下 ，P} 的 框架 ， 它 将 用 于 后 面 介 绍 的 随机 变量 和 随机 过 程 中 。 第 3 
章 定义 了 随机 变量 ， 其 中 包括 许多 著名 的 (和 不 那么 知名 的 ) 连 续 和 离散 参数 分 布 族 的 说 
明 。 第 4 章 关 注 多 维 随机 变量 ， 研 究 了 用 于 推导 随机 变量 变换 的 分 布 的 几 种 技术 ， 还 包括 
一 些 多 元 分 布 。 第 5 章 定 义 了 随机 变量 的 期 望 ， 以 及 随机 变量 函数 的 期 望 、 和 矩 和 特征 郴 
数 。 还 讨论 了 条 件 期 望 和 它 的 几 个 重要 性 质 。 
通过 将 多 维 随机 变量 的 特征 扩展 为 由 时 间 索 引 ， 第 6 章 引入 了 随机 过 程 。 该 章 涵盖 了 
随机 过 程 的 各 种 性 质 ， 如 独立 性 和 平稳 性 ， 描 述 了 不 同类 型 的 随机 过 程 ， 包括 独 立 序列 、 
马尔 可 夫 链 和 款 。 深 入 分 析 和 研究 了 大 家 熟知 的 随机 过 程 ， 例 如 泊 松 和 维 纳 过 程 。 第 7 章 
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探讨 了 随机 过 程 的 其 他 特征 ,包括 随机 连续 、 导 数 、 积 分 和 微分 方程 。 还 描述 了 随机 序列 
的 随机 收 化， 以 及 大 数 定律 和 中 心 极限 定理 。 第 8 章 定 义 了 随机 过 程 的 功率 谱 密 度 ， 它 可 
用 于 描述 经 过 系统 处 理 ( 滤 波 ) 后 的 信号 特性 。 该 章 重点 讨论 线性 时 不 变 系 统 ( 尽 管 有 时 会 
提 及 一 些 非 线性 处 理 )。 该 章 还 讨论 了 用 参数 和 非 参 数 技术 进行 谱 估计 的 方法 。 第 9 章 介 
绍 了 充分 统计 量 ， 描 述 了 几 个 用 于 估计 随机 变量 的 参数 的 重要 方法 。 这 些 技术 都 是 基于 各 
种 准则 ,包括 均 方 误差 、 最 大 似 然 和 最 小 二 乘法 。 


本 书 的 最 后 部 分 从 第 10 章 对 数字 通信 的 概述 开始 ， 其 中 包括 对 信息 论 的 介绍 。 推 导 
出 了 基于 最 大 后 验 概率 和 最 大 似 然 准 则 的 检测 器 。 第 11 音 分 析 了 最 优 滤波 技术 ， 重 点 讨 
论 了 均 方 误差 准则 ， 推 导出 因果 和 非 因果 维 纳 滤波 器 ， 还 介绍 了 采用 格 型 滤波 器 进行 线性 
预测 和 基于 状态 空间 模型 的 信号 的 卡尔 曼 滤 波 器 。 第 12 章 描 述 了 自 适 应 滤波 算法 和 结构 ， 
从 最 陡 下 降 法 和 和 牛顿 法 的 讨论 开始 。 还 描述 了 研究 自 适 应 算法 的 收敛 性 及 其 稳 态 特性 的 随 
机 方法 。 最 后 ， 第 13 章 介 绍 了 自 适 应 波束 的 形成 ， 其 中 用 多 个 天 线 收集 和 分 离 同 信道 信 
号 。 还 讨论 了 自 适 应 均衡 技术 ， 它 用 来 补偿 传输 信道 中 的 信号 失真 。 我 们 描述 了 理想 的 和 
基于 训练 的 方法 ， 以 及 不 需要 训练 或 导 频 信号 的 “ 盲 "算法 ,还 介绍 了 用 于 估计 照射 到 天 线 
的 信号 到 达 角 的 测 向 算法 。 


七 个 附录 提供 了 书 中 所 介绍 主题 的 更 多 的 背景 材料 ， 它 们 包括 : 

e 22 个 连续 和 11 个 离散 的 随机 变量 的 单 变量 分 布 的 总 结 。 

e 整 本 书 用 到 的 函数 的 连续 性 和 具有 特定 符号 的 几 个 函数 的 描述 。 

e 离散 和 连续 时 间 的 频 域 变 换 ， 包括 性 质 表 和 一 些 变换 对 。 

e 黎 曼 积分 的 回顾 ， 黎 曼 - 斯 带 尔 切 斯 和 勒 贝 格 积分 的 简要 说 明 ， 以 及 有 用 的 不 定 积 

分 和 定 积 分 的 总 结 。 

e 恒 等 和 无 穷 级 数 ， 主 要 用 于 离散 型 随机 变量 和 随机 序列 。 

e 期 望 值 的 边界 和 不 等 式 的 推导 ， 如 马尔 可 夫 和 切 比 雪夫 不 等 式 以 及 克拉 美 罗 下 界 。 

e 矩阵 的 几 个 性 质 ， 包 括 子 空间 、 向 量 的 分 解 和 微分 。 

读者 会 发 现在 课程 的 学 习 过 程 中 以 及 对 微 积 分 、 信 号 与 系统 和 线性 代数 课程 的 回顾 过 
程 中 ， 附 录 中 的 内 容 很 有 用 。 


本 书 可 用 于 整个 学 年 ， 每 季度 覆盖 前 面 提 到 的 三 部 分 之 一 ; 

° 学 手 制 。 秋 季 : 第 1~5 章 ; 冬季 : 第 6 一 9 章 ; 春季: 第 10~13 章 . 

对 学 期 制 ， 它 可 以 分 开学 习 ， 这 样 系统 、 估 计 和 应 用 的 内 容 就 可 以 到 第 二 学 期 再 
学 习 : 

° FH. KE, 第 1~7 章 ; 春季 : 第 8~13 章 。 

这 本 书 也 可 在 一 季度 ， 两 季度 或 通过 省 略 几 个 章节 中 的 一 些 较 高 深 的 内 容 来 在 一 学 其 
学 完 。 对 于 一 季度 的 课程 (10 周 教学 ) ， 教 师 应 该 能 够 覆盖 第 1 一 8 章 中 大 部 分 内 容 ， 例 如 
可 以 省 略 随机 积分 和 谱 估 计 。 对 于 一 学 期 的 课程 (15 周 教学 )， 可 以 包括 第 9 章 充分 统计 量 
和 参数 估计 的 内 容 ， 省 掉 前 面 章节 的 一 些 内 容 。 应 用 章节 可 供 有 兴趣 的 学 生 作 为 以 后 学 习 
其 他 工程 课程 的 预览 。 在 前 面 章节 学 习 随 机 过 程 、 系 统 和 噪声 时 使 用 这 些 内 容 作为 系统 或 


信号 处 理 的 例子 是 比较 合适 的 。 
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由 于 本 书 所 涵盖 的 内 容 范 围 非常 广 ， 因 此 在 此 给 出 关于 符号 的 简要 概述 。 在 许多 信号 
处 理 的 书 中 ， 用 同样 的 符号 来 表示 一 个 随机 过 程 和 该 过 程 的 现实 ， 过 程 的 现实 是 一 个 确定 
的 波形 。 在 本 书 中 ,使 用 概率 和 随机 过 程 的 书 中 的 典型 符号 来 替代 : 

e 大 写字 和 母 XX 表示 随机 变量 、 随 机 过 程 X() 或 随机 序列 X[k]， 其 中 zt 是 连续 时 间 ， 

k 是 离散 时 间 。 
e 小 写字 母 z R: X 的 一 个 输出 ，z(t) 是 六 (2) 的 一 个 现实 (连续 波 )，z[Lk] 为 X[kj 的 一 
个 现实 (数列 ) 。 

这 些 字 母 通常 来 自 拉 丁字 母 表 的 末尾 。 上 述 符号 中 只 有 一 个 例外 ， 就 是 大 写 的 K、M 

Al N 通常 表示 ( 非 随机 的 ) 整 数 ， 如 以 下 随机 变量 和 : 
SYR vy, (1) 
如 果 在 某 个 特定 问题 中 {K，M，NN}) 变 成 随机 变量 ,例如 在 随机 求 和 的 问题 中 ， 将 专门 提 及 它 。 
e 加 粗 的 大 写字 母 表 示 随 机 向 量 羡 、 随 机 向 量 过 程 X07) 或 随机 向 量 序列 XLkj。 
e 加 粗 的 小 写字 母 x 是 XX 的 一 个 向 量 输出 ，x(i) 是 (bo 的 一 个 向 量 的 现实 (波形 向 
BL), Tm xLkj] 为 X[kj 的 一 个 向 量 现实 (向 量 序列 )。 l 

ABHRA EREI 6 r. TT x’, sk R tia A xe GB. x 的 
bin Rem BIG. AIH Bn. 

e 加 粗 的 大 写字 母 A 也 用 于 非 随 机 和 矩阵， 加 粗 的 小 写字 母 a 表示 一 个 非 随 机 向 量 。 通 

和 常 ， 这 些 字 母 来 自 拉 丁字 母 表 的 开始 。 

读者 应 该 能 够 从 讨论 的 上 下 文中 确定 天 是 否 是 一 个 随机 向 量 或 一 个 非 随 机 矩阵 ;两 个 
重要 的 例子 是 自 相 关 和 矩阵 Rxx 和 自 协 方差 矩阵 Cxx ， 它 们 是 随机 向 量 X 的 非 随机 量 。 

e 英文 花 体 E 用 于 表示 期 望 。 例 如 ， 自 相关 矩阵 为 Rxx 会 ELXX" ]。 

虽然 ， 在 许多 关于 概率 的 书 中 瑟 用 来 表示 期 望 ， 但 我 们 用 E， 因 为 在 某 些 章节 中 必须 
用 EE 表示 一 个 误差 随机 变量 (EE 也 可 以 用 来 表示 在 样本 空间 2 中 的 一 个 事件 ) 。 

为 了 使 整 本 书 的 许多 式 子 简单 明了 ， 分 母 中 有 时 省 略 了 小 括号 。 例 如 ,将 表达 式 写 为 
1/2xj， 它 应 当 被 理解 为 2xj 的 所 有 项 都 在 分 母 中 ,而 不 必 使 用 括号 1/(2zj)。 田 一 个 例子 
是 高 斯 概率 密度 函数 (pdf) : 


fx (z) > 





1 2 9 
exp(— (xz — p)*/20°) (2) 
V 2x0" t 


它 应 当 清 楚 地 表明 了 2 是 在 指数 的 分 母 中 (尽管 这 不 是 大 多 数 计算 机 编程 语言 的 操作 顺序 )。 

在 本 书 末尾 的 术语 表 中 ， 给 出 了 上 述 符号 的 总 结 ， 以 及 整 本 书 中 使 用 的 符号 和 缩写 的 
列表 : (i ) 一 般 符号 ，( ii ?希腊 符号 (通常 用 于 随机 变量 参数 )，(ii ) 手 写 体 符号 (对 于 特 
殊 的 量 和 前 面 提 到 的 期 望 E) ，(iv ) 数 学 符号 ，(V ) 缩 略 词 。 
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任何 一 个 物理 过 程 ， 不 管 它 是 自然 的 还 是 人 造 的 ， 都 可 以 看 作 是 一 个 具有 时 变 特 性 的 
信号 ， 可 以 用 随机 过 程 对 这 个 信号 建 模 。“ 信 和 号 ?是 指 通过 物理 过 程 表示 的 信息 ， 而 随机” 
是 指 过 程 的 未 来 结果 在 某 种 程度 上 是 不 可 预测 的 。 自 然 界 随机 信号 的 例子 包括 : 照射 到 树 
上 面 的 紫外 辐射 ， 围 绕 着 恒星 旋转 的 行星 ， 通 过 一 片 开 阔 地 的 龙卷风 等 。 合 成 的 随机 信号 
包括 : 从 手机 发 射 到 基站 的 微波 信号 ， 从 洛杉矶 行驶 到 旧金山 的 汽车 ， 以 及 投掷 手 给 接 球 
手 的 棒球 等 。 这 些 例子 都 可 以 通过 函数 g{x,y,z,t} 进行 建 模 ， 该 函数 描述 了 一 个 在 三 维 
空间 {z,y,z) 随时 间 t 变化 的 轨迹 。 很 显然 ， 这 些 “ 信 号 ”具有 不 同 的 物理 机 质 ， 不 同 程度 
的 可 预测 性 以 及 包含 了 不 同 的 信息 量 。 图 1-1 就 描绘 了 一 个 龙卷风 在 工 方向 上 随时 间 变 化 
的 可 能 的 轨迹 ( 称 为 现实 )。 可 以 看 出 ， 在 一 维 空间 坐标 上 ， 一 个 复杂 自然 过 程 的 轨迹 也 类 
似 于 信号 的 概念 。 

需要 注意 的 是 ， 测 到 的 龙卷风 的 轨迹 是 龙卷风 在 x 方向 上 运动 的 一 个 可 能 现实 ， 该 轨 
迹 是 参照 某 个 特定 的 经 线 定义 的 。 也 就 是 说 在 观测 实际 的 轨迹 之 前 ， 在 某 个 区 域内 会 有 许 
多 (其 至 无 穷 多 ) 个 现实 。 换 句 话 说 ， 如 果 我 们 能 够 “重启 ”这 个 过 程 ， 允 许 龙卷风 再 来 一 次 
的 话 (重复 这 个 “试验 ”)， 在 不 同 的 大 气 条 件 下 ， 我 们 将 期 待 有 一 个 不 同 的 轨迹 ， 而 且 这 个 
轨迹 与 第 一 次 观测 到 的 轨迹 只 有 少许 不 同 。 用 X() 来 表示 一 个 随机 过 程 ， 用 x(z) 来 表示 
这 个 随机 过 程 的 现实 。 随 机 过 程 在 时 间 co 的 取 值 也 是 随机 的 ， 它 是 一 个 随机 变量 XH), 
而 在 时 刻 的 某 个 特定 取 值 是 x(to)。 随 机 过 程 是 以 时 间 为 索引 的 随机 变量 的 集合 。 图 1-2 
给 出 了 一 个 现实 AAR t=, 的 一 个 取 值 x(t). 





xt) sb hea X(to) ”随机 变量 x(t) 是 
ie 某 个 特定 时 刻 、 
waist FE x(t) EN Li 诸多 取 值 构成 的 
现实 ( 轨迹 ) 随机 过 程 X(t) 是 3 集合 
一 段 时 间 内 诸多 





波形 的 集合 


fo t 


图 1-1 随机 过 程 在 zx 方向 上 测 到 的 随时 间 t 图 1-2 随机 过 程 X(2) 的 现实 z(t) 和 和 随机 变量 X (u) 
变化 的 三 条 可 能 轨迹 HE t= to 时 刻 的 取 值 zx(w) 

很 显然 ,我们 无 法 用 确定 的 方式 预计 龙卷风 的 轨迹 ， 即 使 有 大 量 的 观测 ， 如 龙卷风 的 
速度 、 地 表 温 度 、 当 天 的 时 间 、 地 理 位 置 、 地 形 等 。 这 一 点 在 下 面 的 简单 例子 中 会 做 进 一 
步 讨论 ， 图 1-3 中 描绘 的 均匀 硬币 的 一 次 投 搓 。 如 果 把 投 。 sa 
掷 出 去 的 硬币 垂直 立 在 桌面 这 种 “ 极 不 可 能 ”的 情况 排除 ， A 物理 参数 硬币 的 


那么 投掷 硬币 试验 就 只 会 有 两 种 可 能 的 结果 ， ECE A em (7 Kamm EEE 
反面 (T) 。 由 于 我 们 仅 对 硬币 在 一 个 特定 时 刻 如 何 着 陆 ( 正 ars 

面 或 反面 ) 感 兴趣 ， 并 不 关心 它 的 轨迹 ， 因 此 单 次 投掷 硬币 。 AS e ` =m 
试验 可 以 用 一 个 随机 变量 来 建 模 ， 而 不 是 一 个 随机 过 程 。 图 1 3 通过 物理 方法 来 预测 硬 
如 果 给 定 一 些 观测 量 ， 比 如 硬币 着 陆 之 前 的 速度 、 与 桌面 i EFI (H) W L # 


之 间 的 和 人 射 角 86、 硬币 的 质量 、 大 气 条 件 ( 如 温度 、 湿 度 是 反面 (T) 朝 上 
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等 )， 再 加 上 其 他 一 些 相关 的 物理 参数 ， 那 么 在 硬币 着 陆 之 前 就 有 可 能 预测 出 此 次 投掷 试 
验 的 结果 。 要 想 可 靠 的 预测 硬币 投掷 试验 的 结果 ， 似 乎 需要 无 穷 多 个 这 样 精确 的 测量 。 但 
是 ， 物 体 的 速度 和 位 置 这 两 个 参数 是 不 可 能 同时 准确 测量 到 的 ， 测 量 一 个 物体 的 位 置 就 会 
改变 它 的 速度 (尽管 这 种 改变 非常 微小 )， 反 之 亦 然 。 事 实 上 ， 我 们 不 可 能 有 关于 随机 事件 
的 充分 的 物理 观测 来 无 差错 地 预测 结果 (除非 只 有 一 种 可 能 的 结果 ) 。 

通过 前 面 的 讨论 可 知 ， 随 机 性 可 看 作物 理 过 程 完 整 信 息 的 缺失 ， 以 至 于 在 随机 事件 发 
生 之 前 我 们 无 法 精确 预测 它 的 结果 或 现实 。 因 此 ， 建 立 一 个 不 直接 依赖 于 特定 过 程 的 物理 
属性 并 且 能 够 应 用 于 信号 和 随机 试验 的 随机 模型 是 非常 有 用 的 。 对 于 均匀 硬币 的 投掷 试 
验 ， 赁 直觉， 随 着 试验 次 数 的 增加 ， 互 和 T 出 现 的 次 数 一 样 多 。 这 种 包含 重复 试验 的 观 
点 称 为 概率 模型 的 频率 解释 ， 在 大 量 重 复试 验 中 ， 一 个 事件 发 生 的 频率 决定 了 它 的 概率 。 
如 果 硬 币 被 投掷 了 N 次， 正面 被 观测 到 了 Ny K, BWA. MFM 次 硬币 投掷 试验 ， 我 们 
会 期 望 正面 朝 上 的 次 数 大 约 为 ( Nn/N)，M 次 。 比 值 Nn/N 是 互 出现 的 频率 。 同 样 的 ， 
TT 出 现 的 频率 为 Nt/N(N1i 十 Na 二 N)， 我 们 也 会 期 望 在 M 次 硬币 投掷 试验 中 了 发 生 的 次 
数 大 约 为 (Nr/N) M. 

通过 频率 的 方法 来 建立 概率 模型 ， 与 观测 多 次 重复 试验 结果 的 可 能 性 的 方法 是 一 臻 
的 。 这 个 解释 是 基于 三 大 公理 建立 概率 模型 的 直觉 基础 。 注 意 到 0 过 Nn/N 三 1， 即 事件 发 
生 的 频率 总 在 区 间 [0,1] 之 内 。 用 P(E) 来 表示 事件 EE 发 生 的 概率 。 概 率 的 一 个 公理 是 
P(E) 宇 09。 这 个 下 限 的 要 求 不 仅 来 自 基 于 频率 的 解释 ， 而 且 也 是 数学 的 表示 。 另 一 个 公理 
是 ， 在 一 次 试验 中 “事件 发 生 ” 的 概率 为 1。 综 合 上 述 两 个 公理 可 以 得 出 : 0 三 P(E) 二 1， 该 
结论 同 前 面 随机 试验 的 频率 解释 是 一 致 的 。 

第 三 个 公理 有 些 复杂 ， 它 涉及 事件 的 组 合 ， 在 一 次 试验 中 最 重要 的 就 是 给 感 兴趣 的 任 
何事 件 赋 予 概率 。 例 如 ， 在 硬币 投掷 试验 中 考虑 事件 发 生 的 概率 PESH sk T), 很 显然 
这 个 试验 只 会 有 两 个 输出 (再 次 声明 不 考虑 硬币 立 在 地 面 的 情形 )。 另 外 ， 这 两 个 结果 是 互 
斤 的 ， 因 为 在 同一 次 投掷 中 硬币 不 可 能 正面 和 反面 同时 朝 上 。 我 们 发 现 硬币 正面 朝 上 或 反 
面 朝 上 的 概率 为 (Nr 十 Nn)/N。 概 率 简单 相 加 是 因为 这 两 种 试验 结果 是 “ 非 重 全 的 ”( 二 者 
没有 交集 ) 。 进 一 步 分 析 可 知 ， 因 为 在 这 个 试验 中 不 可 能 有 其 他 结果 发 生 ， 因 此 我 们 肯定 
可 以 得 出 Nt 十 Np 二 NC(N 是 投掷 试验 的 总 次 数 )， 或 者 有 (Nzr 十 Na)/N=1。 最 后 一 个 结 
果 表 明 互 斥 试验 的 概率 具有 相 加 性 。 这 就 是 第 三 个 公理 成 立 的 内 在 原因 。 基 于 以 上 三 个 公 
理 ， 就 可 以 为 一 个 随机 变量 建立 随机 模型 ， 而 这 个 随机 变量 还 可 以 被 扩展 为 随机 向 量 和 随 
机 过 程 。 

本 书 分 为 以 下 三 个 部 分 : 

第 一 部 分 ”概率 、 随 机 变量 与 期 望 

第 二 部 分 ”随机 过 程 、 系 统 与 参数 估计 

第 三 部 分 信号 处 理 和 通信 中 的 应 用 

在 本 章 引 言 的 后 面部 分 ,我 们 将 给 出 本 书 的 一 个 概述 。 本 书 使 用 的 符号 参见 “符号 说 
明 ”， 而 且 这 些 符号 会 在 后 续 章 节 中 给 出 定义 。 引 言 部 分 以 投掷 硬币 试验 为 例 ， 表 明 如 何 
通过 利用 或 改变 随机 信和 号 的 特性 处 理 从 简单 的 随机 试验 到 复杂 的 随机 过 程 和 工程 系统 。 
1.1.1 信号 、 信 号 处 理 和 通信 

为 了 实现 某 个 目的 ， 我们 往往 对 随机 信号 以 及 信号 处 理 的 各 种 技术 感 兴 趣 。 下 面 给 出 
有 关 信 号 的 一 般 性 定义 。 

定义 (信号 ) ”信和 号 是 “包含 ”一 个 事件 信息 ， 并 通过 时 间 和 空间 传播 的 物理 量 。 信 号 通 
过 特定 的 媒介 从 一 个 物理 地 址 传播 到 另外 一 个 物理 地 址 。 

现代 社会 中 存在 着 许多 的 信号 ， 比 如 用 于 商业 广播 和 有 线 电视 的 信号 。 其 实 ， 也 可 以 
认为 宇宙 中 几乎 所 有 东西 都 是 信号 。 比 如 从 超新星 传播 过 来 的 光 ， 毫 无 疑问 可 被 视 为 一 种 
信号 ， 因 为 它 提供 了 一 个 特殊 事件 的 信息 。 电 磁 辐 射 可 能 是 一 种 非常 熟悉 的 信号 模式 ， 但 
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信和 号 不 必 被 限制 为 电磁 辐射 的 形式 。 通 过 地 球 大 气 层 的 流星 也 可 以 被 视 作 为 一 种 信号 ， 因 
为 它 可 能 提供 地 球 相对 于 太阳 的 当前 位 置 关系 (比如 一 年 中 的 哪个 月 )。 一 次 地 震 产生 的 信 
号 可 提供 地 壳 运 动 的 相关 信息 ， 一 次 火山 喷发 也 可 以 透露 出 地 表 深 处 的 信息 。 

图 1-4 给 出 了 信号 模型 三 个 基本 元 素 的 方 框图 ， 分 别 是 :( i SR: CASAS 
和 信号 传输 的 媒介 (有 可 能 是 最 重要 的 );( 诈 ) 感 知 信号 的 一 个 或 多 个 传感器 (用 于 观测 或 
接收 信号 ) 。 自 然 界 的 信号 取决 于 物理 世界 的 事 
件 ， 比 如 前 面 提 及 的 那些 例子 。 其 他 例子 还 包 
括 潮汐 的 涨 落 、 云 团 的 移动 、 森 林 中 大 树 的 倒 er 
下 。 最 后 一 个 例子 经 常用 在 这 个 著名 的 问题 中 ， C. | RS l Em. 
即 ,“ 如 果 森 林 中 一 棵 大 树 倒 下 时 没有 人 听 到 ， Beal BE a AN 
那么 这 棵 倒 下 的 大 树 产生 声音 了 吗 ?” 倒 下 的 大 As ER ”| 激光 唱片 ”| RES 





树 以 及 由 它 对 周围 空气 产生 的 扰动 可 以 看 作 一 雷达 | 自由 空间 l RB 
种 信号 ， 这 意味 着 另外 二 个 物理 事件 可 能 刚刚 se === 
发 生 ( 比 如 雷电 击 中 了 这 个 大 树 )。 很 显然 ， 上 mej 

述 的 这 个 问题 仅仅 关心 信号 模型 中 的 传感器 模 =. ii 

块 ( 如 图 1-4 所 示 )。 声 音 是 耳膜 感觉 到 的 振动 ， p3 

如 果 没 有 人 在 现场 的 话 那么 声音 就 不 会 被 听 到 。 图 1-4 信号 和 通信 。a) 信号 传输 的 一 般 模 
但 是 对 此 可 能 还 会 存在 争议 ， 因 为 周围 的 空气 型 ，b) 通信 系统 的 典型 模型 


被 倒 下 的 大 树 扰 动 了 ， 那么 一 个 信号 就 会 随 之 产生 ; 另外 , 在 大 树 倒 下 撞击 地 面 的 过 程 中 
还 会 产生 额外 的 信号 (振动 )。 

在 此 考虑 那 种 飞越 大 洋 的 喷气 式 飞 机 ， 它 的 飞行 可 看 作 是 在 三 维 时 空中 的 移动 。 大 气 
满 流 会 导致 它 的 飞行 轨迹 出 现 “ 随 机 ”扰动 ， 这 使 得 它 偏离 “预定 轨迹。 如 果 从 上 往 下 看 它 
的 飞行 轨迹 (不 考虑 x 轴 方 向 上 的 高 度 )， 那 么 它 在 zy 平面 上 的 二 维 轨迹 就 可 以 看 作 时 间 
的 函数 。 而 且 ， 如 果 只 沿 着 z 轴 来 观测 它 的 轨迹 ， 那 么 我 们 就 会 得 到 一 个 一 维 信号 的 现实 
(与 前 面 提 及 的 龙卷风 的 例子 类 似 )。 因 此 ， 即 使 是 一 个 飞行 的 飞机 也 可 以 被 看 作 一 种 形式 
的 信号 。 如 果 这 个 “试验 ”能 够 被 重复 的 话 ， 那 么 后 面 的 现实 会 与 前 面 的 有 所 不 同 ， 这 是 由 
于 大 气 湛 流 和 航向 调整 所 致 。 因 为 传感器 本 身 精度 的 限制 以 及 实际 情况 中 存在 的 噪声 ， 这 
使 得 对 信号 的 完美 测量 是 不 可 能 的 ， 因 此 即使 一 个 信号 本 身 的 随机 扰动 非常 小 ， 仍 应 该 考 
虑 这 个 影响 。 

这 使 得 我 们 对 信号 模型 中 的 传感器 模块 非常 感 兴趣 ， 原 因 在 于 : (i ) 通 过 观测 来 建立 
信号 的 概率 模型 需要 一 个 或 多 个 传感器 ; (ii ) 为 了 实现 某 个 既定 的 目标 ， 需 要 推导 修改 信 
号 的 方法 。 统 计 模 型 是 非常 有 必要 的 ， 因 为 不 可 能 通过 足够 多 的 测量 来 精确 预测 一 个 信和 号 
会 如 何 演变 。 对 于 硬币 投掷 试验 而 言 ， 尽 管 有 可 能 通过 非常 多 的 物理 测量 来 比较 合理 的 预 
测试 验 结果 ( 互 或 者 T)， 但 该 方法 是 不 实用 的 。 我 们 接受 这 个 事实 应 该 好 一 些 ， 那 就 是 : 
一 个 试验 或 信号 是 随机 的 ， 应 该 为 试验 的 输出 或 现实 建立 一 个 概率 模型 ， 通 过 研究 该 模型 
来 实现 特定 的 应 用 。 对 于 信号 模型 终端 的 传感器 ， 它 的 随机 性 可 视 为 对 接收 信号 中 不 确定 
性 的 一 种 测量 ， 因 为 我 们 不 可 能 对 生成 和 影响 该 信号 的 所 有 潜在 的 物理 机 理 都 非常 了 解 。 
我 们 也 不 可 能 精确 地 知道 信号 在 通过 某 些 媒介 的 过 程 中 受到 的 所 有 干扰 。 

图 1-4 也 给 出 了 一 个 跟 信号 有 关 的 通信 系统 模型 。 该 模型 包括 : Ci ) 用 于 产生 和 发 射 
信号 的 发 送 端 ;( ij ) 信 道 ， 包括 传 输 的 媒介 以 及 在 信号 被 接收 到 之 前 的 所 有 干扰 ;〈 诈 ) 接 
收 端 ， 包含 一 个 或 多 个 用 于 检测 信号 的 传感器 。 该 通信 模型 非常 明确 地 认为 某 种 形式 的 信 
息 得 到 了 传送 和 接收 。 在 此 考虑 一 种 人 为 产生 的 信和 号， 比如 手机 信和 号。 很 显然 ， 打 电话 的 
人 肯定 知道 传输 信号 中 的 所 有 信息 。 应 该 视 随 机 性 为 接收 端的 一 种 特性 ， 因 为 接 电话 的 人 
并 不 知道 打 电 话 的 人 想 说 什么 ， 同 时 由 于 信号 在 传输 过 程 会 有 失真 ， 接 收 端 只 能 得 到 不 完 
备 的 信息 。 该 解释 也 同样 适用 于 自然 信号 。 例 如 假设 存在 一 颗 人 造 卫 星 ， 由 于 暴露 在 太阳 
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大 气 中 所 受到 的 太阳 辐射 强度 会 随 着 时 间 的 变化 而 变化 。 该 卫星 在 围绕 地 球 旋转 的 过 程 中 
会 把 接收 到 的 信号 “ 视 为 ?随机 的 (由 不 完备 的 信息 所 致 ;， 通 过 对 接收 信号 的 处 理 有 可 能 会 
获得 该 辐射 所 携带 的 信息 (比如 太阳 上 一 个 事件 的 发 生 ) 。 

在 第 10 章 会 介绍 信息 论 的 有 关 知 识 ， 一 个 信号 携带 信息 的 多 少 取决 于 不 确定 性 的 程 
E: 一 个 具有 “更 多 不 确定 性 ”的 信号 就 会 包含 更 多 的 信息 。 例 如 一 个 小 行星 由 于 受到 堪 星 
的 猛烈 撞击 ， 它 的 轨道 突然 发 生 了 剧烈 的 扰动 ， 那么 这 个 随机 性 就 会 提供 比 该 小 行星 平稳 
运行 时 更 多 的 信息 。 图 1-5 同样 也 可 以 用 来 说 明 这 个 情况 ( 横 坐 标 表示 样本 数目 &)。 一 个 
具有 固定 幅度 a， 频率 f, 以 及 相位 中 的 正弦 信号 是 一 个 极端 的 例子 ， 它 是 确定 性 信号 ， 所 
以 完全 可 以 被 预测 。 因 此 ， 这 个 正弦 信号 实际 上 并 没有 携带 任何 有 用 的 信息 。 把 一 个 正弦 
载波 和 一 个 随机 的 士 1 序列 相 乘 ， 就 会 得 到 一 个 带 通 二 元 BPSK( 相 移 键 控 ) 信 号 ， 该 随机 
序列 被 称 作 带 通 二 元 PAM( 脉 冲 幅度 调制 ) 信 号 。 图 1-5 也 给 出 了 BPSK 信和 号 的 波形 ， 可 
以 看 出 该 信号 比 纯粹 的 正弦 信号 体现 出 了 “更 多 的 不 确定 性 ”。 
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图 1-5 Adifa So OIF. ARARE, AA RE KS GEL sb) SEW J PAM 信号 
(随机 ); c) 带 通 BPSK 信号 ， 由 a 和 jb 中 的 信号 相 乘 得 到 (随机 ) 


图 1-6 中 的 语音 信号 体现 了 更 多 的 随机 性 , 因此 它 比 前 面 的 那些 人 造 信号 携带 了 更 多 
的 信息 。 图 1-6 还 给 出 了 风声 的 一 个 实现 ， 这 个 信号 结构 更 加 简单 而 且 跟前 面 的 语音 信和 号 
比 起 来 具有 更 多 的 随机 性 。 另 外 一 个 极端 的 例子 是 " 白 品 声 ”， 这 是 完全 不 可 预测 的 (后 面 
将 会 对 其 进行 定义 )， 该 类 型 的 信号 是 “最 随机 的 ”。 我 们 也 给 出 了 一 个 视频 截图 的 例子 ， 
这 是 一 个 二 维 的 随机 过 程 ， 该 随机 过 程 具有 二 维 空间 坐标 4z,y} 并 随时 间 上 的 变化 而 变 
化 。 图 1-7 是 对 视频 信号 在 一 个 特定 时 刻 采集 到 的 ， 因 此 它 被 建 模 为 一 个 随机 场 。 该 图 同 
时 也 给 出 了 加 入 噪声 的 图 片 版 本 ， 这 很 直观 地 描绘 了 在 传输 过 程 中 信道 扰动 带 来 的 影响 。 
信号 处 理 技术 通过 去 除 一 定 程度 的 加 性 噪声 ， 来 改善 信号 的 质量 。 
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图 1-6 自然 界 随 机 信号 的 例子 。a) 语音 (Hu 和 Loizou. 2007); b) 风声 ; c) 高 斯 白 噪 声 ( 通 过 
MATLAB 中 的 伪 随 机 数 发 生 器 产生 ) 





a) b) 
图 1-7 随机 场 。a) 来 自 一 个 视频 的 图 像 ( 单 次 截图 ); b) 噪声 干扰 的 图 像 ， 每 个 像素 点 (图 像 的 
基本 元 素 ) 都 加 上 了 零 均值 的 高 斯 噪声 | 

信息 和 信号 的 意义 是 有 所 区 别 的 ， 信 息 是 与 前 面 提 及 的 随机 性 相关 的 ， 而 信号 的 意义 更 加 
复杂 一 些 ， 这 取决 于 接收 终端 如 何 解释 信号 。 对 于 语音 的 例子 ， 信 号 的 意义 取决 于 传输 过 程 中 
使 用 的 语言 、 接 收 端 收听 者 的 主要 语言 以 及 其 他 许多 因素 ， 比 如 说 话 者 和 收听 者 之 间 的 关系 、 
收听 者 以 往 的 经 验 、 说 话 者 的 口音 等 。 本 书 并 不 关注 信号 的 意义 ， 尽 管 我 们 对 蕴含 其 中 的 通过 
随机 性 来 度量 的 信息 感 兴趣 。 我 们 也 对 各 种 各 样 的 信号 处 理 技术 感 兴趣 ， 这 些 技术 被 用 来 提取 
和 增强 接收 信号 中 的 信息 。 | 

图 1-8 描述 了 两 种 我 们 将 要 讨论 的 基本 信 | at | PERRA 
号 处 理 方 式 ， 后 面 还 会 讨论 各 种 各 样 的 变化 和 随机 过 程 X(t) 


应 用 。 第 一 种 是 信号 模型 的 参数 估计 ， 通 过 操 
作 接 收 到 的 信号 来 设计 出 各 种 信号 参数 的 估计 MD 修改 后 的 信号 
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N 
x _ 1 
= > ALA (1-1) 


在 这 里 通过 对 X(1) (随机 序列 用 XLAJ] 来 表示 ) 的 N 个 样本 取 平 均 来 估计 信号 的 均值 wx。 
第 二 种 信号 处 理 方式 是 滤波 ， 目 的 是 为 了 变换 信号 ， 这 样 处 理 往 往 会 “改善 ? 它 的 性 质 。 一 
般 通 过 把 信号 和 滤波 器 参数 组 {h[k]} 相 卷 积 得 到 : 
YER] = D>)h[n]X[Lk—n] (1-2) 
一 个 信号 处 理 的 例子 就 是 声音 设计 ， 将 语音 信号 的 幅度 相 乘 ， 这 样 使 得 人 说 话 的 声音 显得 
比 真实 记录 的 语音 要 响 。 将 以 上 两 种 信号 处 理 的 模式 进行 组 合同 样 是 有 可 能 的 ， 我 们 可 能 
需要 在 变换 信号 前 对 参数 进行 估计 ， 那 么 就 应 事先 用 滤波 器 滤 除 背景 噪声 。 
随机 过 程 可 被 看 作 是 一 组 以 时 间 为 标记 的 随机 变量 的 集合 ， 每 个 时 刻 都 存在 一 个 潜在 分 
布 的 可 能 输出 结果 。 下 一 步 ， 我们 给 出 随机 模型 的 一 个 精确 描述 ， 并 说 明 它 是 如 何 扩展 为 随 
机 变量 的 。 这 使 得 我 们 可 以 采用 微 积分 和 离散 数学 的 方法 来 刻画 随机 现象 。 通 过 引入 时 间 变 
量 的 概念 ， 这 些 方法 被 扩展 到 随机 过 程 。 如 果 在 这 些 问 题 中 考虑 时 间 的 话 ， 我 们 往往 会 关 
心 这 些 信 号 相 邻 时 刻 的 相关 程度 。 相 关 性 可 通过 各 种 信号 处 理 方法 来 进行 研究 ， 它 是 对 随 
机 信和 号 将 来 输出 预测 的 一 种 度量 ， 甚 至 有 可 能 是 随机 过 程 最 重要 的 特性 。 
最 后 ， 我 们 讨论 随机 信和 号 的 空间 维 数 。 正 如 先前 提 及 的 那样 ， 任 何 信号 都 可 以 看 作 一 个 
随 连 续 时 间 G € R = {—co,co}) 或 离散 时 间 AGREE 三 (一 1,0,1,…)) 变化 的 三 维 变量 
(El (z,y,z) 空间 坐标 系 ) 。 但 是 ， 在 很 多 情况 下 可 能 只 需要 从 一 维 或 二 维 空间 上 来 考虑 一 个 
信号 。 对 于 先前 那个 行星 围绕 恒星 旋转 的 例子 ， 可 能 从 椭圆 平面 观察 这 个 过 程 更 方便 一 些 ， 
这 样 就 类 似 于 观看 一 个 (二 维 的 ) 视 频 信 号 。 对 这 个 过 程 进行 一 次 截图 并 取 其 对 应 的 一 帧 信 
号 ， 则 与 观看 一 次 照片 是 基本 等 价 的 。 全 息 摄影 是 一 个 三 维 的 人 造 信号 ， 从 任何 一 个 角度 
(平面 视角 ) 都 是 一 个 二 维 的 视频 ， 如 果 将 其 压缩 到 一 个 维度 上 ， 那 么 我 们 就 只 能 观测 到 光 强 
随时 间 的 变化 。 绝 大 部 分 人 造 信号 都 是 一 维 的 ， 比 如 用 于 通信 的 信和 号。 它们 可 能 会 在 三 维 空 
间 中 传播 ， 但 它们 会 以 各 种 现实 的 形式 来 表征 ， 类 似 于 图 1-5 中 的 那些 波形 例子 。 在 本 书 中 ， 
我 们 主要 关注 的 是 一 维 的 人 造 信号 ,但 所 讨论 的 技术 完全 可 以 扩展 到 任何 类 型 的 信号 。 
1.1.2 概率 、 随 机 变量 和 随机 向 量 
接 下 来 我 们 将 归纳 一 些 方法 ， 利 用 这 些 方法 可 以 推导 出 一 个 共同 的 概率 空间 。 读 者 在 学 
习 本 书 前 面 章节 以 得 出 一 个 总 体 性 的 知识 架构 的 时 候 ， 可 能 发 现 翻阅 本 节 内 容 是 有 用 的 。 
e 定义 一 个 “试验 ”的 输出 值 。 输 出 值 是 指 一 个 随机 试验 的 观测 (可 测 ) 结 果 或 对 象 。 根 据 输 
出 值 的 数量 多 少 ， 可 将 输出 值 分 为 三 大 类 :iD 有限 的 ，(iD 无 限 可 数 的 ，(i) 不 可 数 的 。 
前 两 种 对 应 离散 的 情况 ， 第 三 种 对 应 连续 的 情 ER 








况 。 一 个 试验 的 所 有 输出 值 构成 样本 空间 Q. 样本 空间 0 
日 定义 这 个 试验 的 事件 。 事 件 E 对 应 于 单一 的 asagi; 
输出 事件 被 称 作 基本 事件 。 事 件 都 是 样本 空 域 : 集合 运算 的 
间 2 的 子 集 。 op ate 闭 集 ， 对 每 个 事 
o 定义 这 些 事件 的 代数 集合 ， 也 称 作 o 域 。 在 许 ` x oon 
` ` 一 个 


多 问题 中 都 会 对 事件 和 输出 值 进行 集合 运算 ， | UQ UN N 
因此 非常 有 必要 定义 一 个 = 域 ， 通 过 这 个 域 给 wa a V N 5 
出 允许 事件 的 限制 ， 并 且 对 事件 赋予 概 率 值 。 “ er 
样本 空间 和 a 域 共同 组 成 事件 空间 (0.7). sy ra 

* 根据 三 大 公理 ， 给 所 有 事件 赋予 概率 值 。 根 据 公 
理 ， 事 件 空间 中 事件 的 任意 概率 什 都 可 以 用 统一 eee ene a AR 
的 方式 进行 计算 。 样 本 空间 、c 域 和 概率 测度 P 描述 。z 域 大 用 来 描述 样本 空间 
共同 组 成 概率 空间 {0,F .P}. 2 中 的 事件 ， 并 对 这 些 事件 赋 

图 1-9 形象 地 表示 了 这 个 框架 结构 。 图 中 的 箱 TERM 
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形 表示 样本 空间 Q， 圆 圈 代 表 事 件 {E,}， 这 个 图 就 是 所 请 的 维 因 图 。 图 中 重合 的 那些 部 分 是 
指 具 有 共同 输出 值 {ww} 的 那些 事件 。 由 于 定义 了 一 个 o 域 对 于 下 中 所 有 事件 的 运算 得 到 的 
仍然 是 大 中 的 一 个 事件 。 事 件 的 运算 包括 U Cat). NCSD GY, 一 ( 非 )， 以 及 昌 ( 异 或 )。 
根据 a 域 和 三 大 公理 ,我们 可 以 定义 统一 的 概率 测度 P. PEAKE [0,1] 中 进行 取 值 。 

前 面 的 这 些 内 容 适 用 于 较 小 的 样本 空间 。 在 实际 中 经 常会 遇 到 更 为 复杂 的 情况 ， 此 时 
dit nr ee: il el 这 样 我 们 就 可 以 对 这 些 随机 变 
量 进 行 复杂 的 运算 ， 比 如 把 一 个 随机 变量 一 
转换 为 另外 一 个 随机 变量 。 我 们 还 可 以 定 
量 的 求 出 一 个 随机 试验 的 各 种 特征 ， 比 如 
和 矩 ( 均 值 、 方 差 等 )。 常 抑 的 映射 归纳 如 下 : 

e 将 样本 空间 只 的 输出 值 映 射 为 实 线 

及 上 的 数值 ， 得 到 随机 变量 X。 因 为 


o 在 实 线 区 间 上 ， 将 事件 
N| ma ( 离散 ) 或 者 
区 间 ( 连续 ) 


通过 概率 质量 函数 ( pmf ) 
或 者 概率 密度 函数 (pdf) ， 
将 点 【 离散 ) 或 者 区 间 





在 工程 问题 中 习惯 用 变量 和 数值 ，， j ` ( 连续 ) 映射 为 概率 什 
所 以 需要 把 原始 样本 空间 Q 中 的 输 ， D 
出 值 映 射 为 及 (或 者 整数 Z， 复数 C)。 ` TEN pe 
原始 的 概率 空间 转移 到 了 实 线 上 ， ,* TE ‘as 
并 且 这 种 映射 是 可 测 的 ， 得 到 的 随 a f ry o 
机 变量 也 有 共同 的 概率 空间 。 5 a 
o 直接 定义 随机 变量 ， 而 不 必 依 赖 于 w a: pdf 
一 个 底层 的 抽象 概率 空间 。 随 机 变 ere UN fy) 
量 X 的 概率 空间 为 (R. BCR), | | ne 
Px), 其 中 B( 及 ) 是 通过 及 上 所 有 开 ° gee | x 
区 间 来 定义 的 一 个 Borel o W. Ñ è 概率 值 可 以 通过 对 联合 可 以 对 随机 变量 进行 
过 这 个 概率 架构 ， 我 们 可 以 将 随机 概率 质量 函数 累加 求 和 各 种 运算 ， 比 如 矩 、 
变量 归纳 到 不 同 的 家 族 ， 例 如 高 ”或 者 对 联合 概率 密度 均值 、 方 差 、 笠 率 、 
斯 、 二 项 分 布 等 ， 然 后 以 此 来 对 各 函数 积分 得 到 war 
种 物理 现象 进行 建 模 。 图 1-10 ”样本 空间 ,2 中 的 事件 映射 为 随机 变量 X 的 
从 事件 到 随机 变量 X 区 间 的 映射 关 图 形 化 描述 。 一 个 随机 变量 的 概率 测度 可 
系 如 图 1-10 所 示 。 这 样 做 的 目的 是 使 用 以 通过 概率 质量 函数 (pmf)( 对 于 离散 输 
实 线 区 间 凡 来 形象 描述 感 兴 趣 问题 中 的 事 出 ) 或 者 概率 密度 函数 Cpdf) (对 于 连续 输 
件 。 对 于 离散 随机 变量 ,概率 质量 函数 出 ) 来 定义 


(pmf) 描 述 了 每 个 可 能 输出 值 的 概率 ， 我 们 经 常用 整数 的 子 集 来 表示 。 通 过 对 一 段 区 间 
上 相应 事件 整数 值 的 累加 求 和 ， 可 以 得 到 这 个 事件 的 概率 值 : 


b ` 
Pla < X< b) = S'px[=] (1-3) 


其 中 px[Lzj]=P(CX=z) 表 示 概 率 质量 函数 ， 如 图 1-10 中 的 实 线 圆圈 所 示 。 
对 于 连续 随机 变量 ,概率 密度 函数 (pdf) 描 述 了 区 间 及 上 的 概率 密度 。 将 概率 密度 函数 
在 特定 区 间 上 进行 积分 可 以 求 出 该 事件 的 概率 值 : 


b 
Pla < X <b) = | zcopdz (1-4) 


其 中 产 (Cz) 表 示 概 率 密度 函数 ， 该 函数 是 连续 的 ， 如 图 1-10 所 示 。 此 外 ， 离 散 随 机 变量 和 
连续 随机 变量 还 可 以 组 成 混合 随机 变量 。 在 前 面 提 到 过 ， 由 于 我 们 对 随机 变量 这 个 概念 比 
较 熟 悉 ， 因 此 在 许多 情况 下 就 没有 必要 去 考虑 这 个 底层 的 抽象 样本 空间 ， 而 可 以 直接 对 概 
率 质量 函数 (离散 ) 和 概率 密度 函数 (连续 ) 进 行 操作 。 

接 下 来 介绍 一 个 重要 的 拓展 ， 即 样本 空间 Q 映射 为 随机 向 量 的 情况 : 
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et eet aan RA reagent 
关 的 随机 变量 构成 。 在 许多 情 Tm 


在 实 平面 上 ， 事 件 映射 为 
况 下 ， 拓 展 到 随机 向 量 是 非常 


点 ( 离散 ) 或 矩形 ( 连续 ) 








有 用 的 ， 据 此 我 们 就 可 以 探讨 MINDERRE 
随机 变量 的 互相 关 特 性 了 。 ng g 全 i 
Aineemmer ame PE A] wm 
机 变量 X AY 的 情况 。 这 是 概率 模型 
一 个 非常 重要 的 推广 ， 此 时 我 们 就 可 axes 
以 研究 输出 的 各 种 特性 (例如 投掷 一 Pxy[xy] 
URS. FIN AMEAKF 3, A y 
及 点 数 是 否 是 偶数 )。 根 据 联合 概率 ? 到 
的 测度 ， 即 概 率 质量 函数 pxylxzy] 
和 概率 密度 函数 fxvr(z,y), 就 可 以 利 S nad 
用 其 他 随机 变量 的 输出 值 来 预测 另外 f wea; a 
一 个 随机 变量 输出 值 ， 并 且 这 种 预测 > 
具有 一 定 准确 度 。 | | 
最 后 ,我 们 曾 提 到 如 果 一 个 试验 概率 测度 
的 某 些 信息 是 已 知 的 ， IRA a 
的 概率 就 可 能 会 改变 。 根 据 某 个 事件 ee ena 我 们 可 以 研究 各 种 
E 的 先 验 信息 ， 另 外 一 个 事件 下 相应 ” 或 者 对 联合 概率 密度 函 联合 性 质 ， 尤 其 是 
的 概率 就 称 作 条 件 概 率 ， 因 为 下 的 概 数 积分 得 到 互相 关 特 性 
SSE 的 信息 有 关 : 关于 巨变 化 的 已 ”图 1-11 样本 空间 Q 中 的 事件 映射 为 随机 变量 X 和 Y 的 
的 概率 就 反映 了 这 个 信息 。 在 实际 情 图 形 化 描述 。 可 以 得 到 联合 矩 ， 我 们 通常 对 x 
况 中 经 常会 遇 到 条 件 概率 ， 比 如 作为 和 YY 的 互相 关 感 兴趣 


一 个 感 兴趣 的 问题 ， 或 者 作为 一 个 计算 复杂 概率 值 的 方法 。 在 极端 情况 下 ， 一 个 试验 的 
“所 有 ?情况 都 是 已 知 的 (如 前 面 提 及 的 ， 对 于 一 个 硬币 投掷 试验 进行 无 限 多 次 的 物理 测 
量 )， 此 时 我 们 就 能 够 依据 概率 来 预测 哪个 情况 会 发 生 。 因 此 ， 先 验 概率 在 概率 论 中 是 非 
常 重要 的 。 考 虑 到 这 些 信息 ， 我 们 就 可 以 用 概率 论 三 个 基本 公理 的 拓展 来 定量 研究 先 验 信 
息 对 事件 概率 值 的 影响 。 
1.1.3 随机 序列 和 随机 过 程 

随机 序列 的 一 个 例子 就 是 连续 多 次 的 硬币 投掷 试验 。 输 出 结果 的 每 种 可 能 的 序列 就 称 
作 一 个 现实 。 例 如 ， 如 果 将 一 个 硬币 投掷 10 次 , (H,H,H,H,H,H,H.H,H,H} 就 是 一 
种 可 能 的 现实 。 实 际 上 ， 这 个 试验 存在 2" 种 可 能 的 现实 。 在 此 ， 我们 总 结 一 下 可 以 用 来 
描述 随机 序列 和 随机 过 程 的 方法 : 

e 定义 随机 变量 的 集 ， 并 用 离散 时 间 尼 来 进行 索引 。X[Lkj] 代 表 随 机 序列 ， 整 数 kEZ 
代表 离散 时 间 。 在 某 个 时 刻 存在 两 种 可 能 的 输出 : 如 果 是 离散 的 ， 那 么 就 存在 有 限 
多 个 或 者 可 数 个 输出 ; 或 者 是 连续 的 ， 那 么 输出 值 是 连续 的 (不 可 数 的 ) 。 

e 将 随机 变量 集 的 概率 测度 拓展 到 随机 序列 。 因 为 已 经 对 联合 随机 变量 定义 了 oa 域 ， 那 
么 对 于 该 序列 中 的 任意 N 元 随机 变量 ， 即 使 N->co 也 可 以 定义 其 相应 的 概率 测度 。 

e 定义 随机 变量 的 集 ， 并 用 连续 时 间 t 来 进行 索引 。 在 实 线 集合 及 上 定义 一 个 随机 过 
XA), t 表示 连续 时 间 。 随 机 序列 的 情况 也 是 类 似 的 ， 任 意 时 刻 的 输出 值 可 能 是 
离散 的 ， 也 可 能 是 连续 的 。 

e 将 随机 变量 集 的 概率 测度 拓展 到 随机 过 程 。 与 随机 序列 不 同 ， 随 机 过 程 由 这 些 随 机 
变量 集 组 成 ， 但 这 些 随机 变量 是 不 可 数 的 。 将 随机 过 程 的 概率 测度 进行 拓展 ， 在 拓 
展 时 需要 满足 一 致 性 条 件 ， 这 将 在 第 6 章 定义 。 
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一 共有 四 种 类 型 的 随机 序列 和 随机 过 程 ， 归 纳 见 表 1-1. 与 混合 型 随机 变量 类 似 ， 还 
可 能 存在 “混合 型 ?的 随机 序列 (或 过 程 )， 此 时 一 部 分 输出 是 连续 的 ， 另 外 一 部 分 是 离散 
的 。 在 后 续 的 讨论 中 ,无 论 是 连续 时 间 过 程 还 是 离散 时 间 序 列 ， 为 简单 起 见 我 们 都 只 用 
“随机 过 程 ? 来 表示 。 对 于 只 讨论 离散 时 间 的 情况 ， 我 们 就 会 专门 用 随机 序列 来 表示 。 对 于 
随机 序列 ， 用 ke 2 来 进行 时 间 上 的 索引 ， 对 于 随机 过 程 就 用 1:€ER 来 进行 索引 。 图 1-12 非 
常 形象 地 描述 了 连续 时 间 随 机 变量 映射 为 离散 时 间 随 机 变量 集 ( 随 机 序列 )。 重 复 类 似 的 试 
验 ， 可 观察 其 他 类 型 的 随机 过 程 。 


表 1-1 不 同类 型 的 随机 过 程 










随机 序列 X[k] 
离散 时 间 ， 离散 输出 ( 贝 努 里 序列 ) 
离散 时 间 ， 连 续 输 出 (高 斯 序列 ) 






随机 过 程 X(1) 
连续 时 间 ， 离 散 输 出 ( 泊 松 过 程 ) 
连续 时 间 ， 连 续 输 出 ( 维 纳 过 程 ) 





x[k] 
rain 输出 的 一 个 特定 
随机 变量 的 输出 序列 称 作 一 个 现实 
fix) 7 
如 果 概 率 密度 函数 是 非 时 变 的 ， 
那么 该 随机 序列 就 是 平稳 的 
随机 变量 


图 1-12 在 重复 试验 中 (离散 时 间 ， 连续 输 出 )， 随 机 变量 和 随机 过 程 之 间 的 联系 的 图 形 化 表示 


考虑 一 个 正弦 信号 x(1) 二 sin(wt)，tER。 一 个 最 简单 的 随机 例子 就 是 随机 相 
i DE [0,2x], 那么 就 可 得 到 下 面 这 个 随机 过 程 : 
X(t) = sin(wt + @) (1-5) 
改变 瑟 的 取 值 并 不 改变 信号 的 波形 ， 只 会 影响 过 零点 的 位 置 。 因 为 瑟 是 一 个 连续 的 
数值 ， 存 在 着 无 限 多 可 能 的 输出 结果 (不 可 数 的 )， 每 个 结果 可 以 画 出 一 个 现实 x(t)， 得 到 
—# h, wh 1-13a 所 示 ， 这 簇 曲 线 称 作 总 体 。 类 似 地 ， 这 个 正弦 信号 的 幅度 也 可 以 是 
随机 的 , A € [0,1], 此 时 可 得 ， 


X(t) = Asin(wt) (1-6) 
或 者 幅度 和 相位 都 是 随机 的 ， 这 种 情况 的 例子 如 图 1-13b 所 示 。 
X(t) = Asin(wt + @) (1-7) 





a) 


图 1-13 正弦 信和 号 X(t)==Asin(wt 十 ®) 的 现实 ,w= 二 1。a) 相位 是 随机 的 (A 二 1); b) 相位 © MIRE A 
都 是 随机 的 <4 
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A 和 @ 的 取 值 就 是 随机 变量 ,它们 在 某 个 区 间 上 具体 取 值 的 概率 取决 于 它们 的 概率 密度 
函数 。 相 位 Op € [0,2r] 的 概率 密度 函数 fo OMT RAFU 1-14 所 示 ， 该 分 布 是 均匀 的 
(平坦 的 )， 这 表明 当 e>0 时 ， 对 于 a 的 任意 取 值 , DE [a,a + £] 的 概率 卫 都 是 相同 的 (确保 
[ara +e] 是 [0,2xj] 的 子 区 间 )。 随 机 变量 P 的 每 个 取 值 都 会 导致 波形 的 平移 ， 如 图 1-13a 所 
示 ， 输 出 值 $ 并 不 会 改变 正弦 波形 的 周期 。 如 果 相 位 是 时 变 的 ， 此 时 随机 信号 的 情况 就 会 更 
加 复杂 ， 因 为 BL&T] 本 身 就 是 一 个 随机 序列 。GB[kT] 幅 度 的 变化 意味 着 相位 是 随时 间 上 变化 
的 ， 这 等 同 于 正 整 数 与 周期 工 相 乘 ， 此 时 X() 的 过 零点 不 再 是 有 规则 分 布 的 : 

X(t) = sin(wt + @[ £T ]) (1-8) 

图 1-14 中 的 例子 表明 ， 即 使 正弦 信号 的 幅度 是 区 间 [0,1] 中 的 某 个 固定 值 ( 非 随机 
的 )， 该 信号 的 现实 也 是 非常 易 变 的 ， 原 因 就 在 于 相位 是 时 变 的 。 这 个 时 候 的 信号 看 上 去 
有 点 像 “ 噪 声 ? ， 即 使 我 们 非常 清楚 这 只 是 相位 时 变 的 原因 。 


0.2 
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a) b) 


图 1-14 正弦 信号 XG =Asin(z HORT], Ht OLAT | FE—T BASLE (A= 1,o= 1,T=0.05) . a) 服从 
[0,2x] 上 均匀 分 布 的 随机 相位 的 概率 密度 函数 ; b) 当 相 位 在 不 同时 刻 & 独 立 变化 时 ， 正 弦 信 
号 的 现实 ， Ë € Z" = {0,1,.…)} 


从 上 面 最 后 一 个 正弦 波形 的 例子 可 知 ， 即 使 是 一 个 简单 的 随机 化 ， 也 会 导致 z(?) 的 现 
实 显得 非常 不 可 预测 。 本 书 的 一 个 目的 就 是 使 我 们 掌握 能 够 刻画 随机 信号 行为 的 能 力 ， 并 
且 使 我 们 认识 随机 信号 是 如 何 被 一 个 系统 处 理 的 。 最 开始 ， 我 们 可 能 会 逐个 考察 样本 集中 
每 个 现实 的 行为 ， 但 很 快 我 们 就 会 发 现 这 种 方法 是 不 现实 的 (或 者 是 根本 没 用 的 )。 当 然 在 
实际 应 用 中 ， 系 统 处 理 的 总 是 样本 集 里 面 一 个 特定 的 现实 ， 此 时 我 们 就 可 以 使 用 线性 系统 
技术 来 判断 该 现实 的 输出 是 什么 。 但 由 于 信和 号 是 随机 的 ， 我 们 事先 并 不 知道 现实 是 什么 。 
这 在 许多 具体 应 用 中 ， 现 实 是 什么 并 不 是 问题 ,但 这 却 是 需要 研究 的 。 比 如 在 一 个 数字 通 
信和 系统 中 ， 在 任何 时 刻 接收 端 都 不 知道 传输 的 是 哪个 符号 (symbol) ， 如 果 接 收 端 事先 知道 
传输 的 是 什么 符号 ， 那么 这 个 符号 的 传递 就 毫 无 意义 了 。 在 此 系统 中 ,需要 将 接收 端 进 行 
很 好 的 设计 ， 通过 对 接收 到 的 信号 进行 操作 就 能 获得 传输 信号 的 特性 ， 然 后 利用 概率 技术 
来 做 出 是 哪个 符号 被 传输 的 “好 ”判决 。 

如 前 面 提 到 的 ， 随 机 序列 XLA 可 以 看 作 是 时 间 索 引 的 随机 变量 集 。 对 于 离散 时 间 ， 我 
们 采用 硬币 连续 投掷 试验 来 进行 讲解 ， 对 于 连续 时 间 采 用 的 是 广播 电视 信号 。 图 1-15a 给 出 
的 例子 是 相关 高 斯 随机 序列 的 现实 。 在 任意 一 个 特定 的 时 刻 ， 比 如 二 5， 各 种 现实 的 值 就 是 
随机 变量 XL500j] 的 输出 。 图 5-15b 特别 强调 了 这 一 点 ,该 图 给 出 了 X[L500j] 的 累积 分 布 函 数 
(cdf)， 该 函数 给 出 了 该 随机 变量 在 开 区 间 中 的 概率 ， 即 P(X[500]<zx) 会 Fx (zx)。 假 设 在 该 
随机 过 程 的 任意 时 刻 ， 这 个 随机 变量 都 服从 这 个 分 布 规律 。 

我 们 用 概率 模型 来 描述 随机 过 程 ， 即 使 我 们 并 不 知道 哪个 现实 会 发 生 ， 因 此 需要 理解 
集 (ensemble) 的 概念 。 这 在 各 种 自然 随机 过 程 中 是 非常 有 用 的 ， 比 如 每 天 的 气温 ， 它 同样 
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也 适用 于 各 种 人 工 随机 过 程 ， 比 如 广播 信号 。 在 很 多 实际 场合 ， 每 个 现实 的 平均 值 经 常 是 
相同 的 (经 常 为 0) 。 或 者 在 每 个 时 刻 ， 现 实 的 取 值 是 从 高 斯 分 布 中 "提取 ”出 来 的 。 更 重要 
的 是 ， 我 们 需要 通过 相关 性 来 定量 的 描述 随机 过 程 在 ti 时 刻 ， 以 及 后 面 te 时 刻 相关 联 的 
程度 。 在 许多 问题 中 ， 比 如 连续 的 硬币 投掷 试验 ， 每 次 投掷 之 间 并 没有 任何 联系 。 每 次 投 
掷 都 是 独立 的 ， 不 可 能 通过 已 有 的 结果 来 预测 将 来 的 输出 。 放 大 器 中 的 噪声 同样 也 是 不 可 
预测 的 ， 即 使 我 们 可 能 知道 噪声 值 的 大 概 范围 。 另 一 方面 ， 还 存在 着 许多 可 以 被 非常 准确 
预测 的 随机 过 程 。 比 如 在 非常 短 的 时 间 内 ， 一 个 屋子 里 的 温度 是 很 容易 预测 的 ， 前 后 两 分 
钟 之 间 的 温度 值 是 高 度 相 关 的 。 图 1-15e 给 出 了 高 斯 随机 过 程 自 相关 函数 Rxx m]). eK 
数 是 一 个 双边 指数 函数 的 形状 。 比 如 在 500 和 1000 这 两 个 时 刻 ， 该 过 程 的 相关 程度 就 是 
在 时 延 罗 一 | 久 一 后 | 三 500 处 的 取 值 。 随 着 的 增 大 ， 相 关 特 性 渐渐 减少 ， 这 是 许多 随机 
音 号 非常 典型 的 特性 (不 一 定 是 指数 训 减 的 ) 。 





0 500 1 090 1500 2000 


xo 


a) 


1 

0.9 
0.8 
0.7 

E 0.6 
k 0.5 
0.4 
0.3 
0.2 
0.1 


_S000-1500-1000 -500 p 500 1000 1500 2000 


c) 
1-15 相关 高 斯 序列 。a) 一 个 现实 的 例子 ; b) 在 上 ==500 时 刻 ， 随 机 变量 X[500] 的 分 布 函数 
Fx (x)， 这 是 一 个 零 均 值 、 方 差 为 1 的 高 斯 分 布 ; c) 该 随机 过 程 的 自 相关 函数 ,衡量 两 个 时 
刻 输出 的 差异 ， 横 坐标 m= | ko 一 ki | 表示 时 间 差 


1.1.4 6 BA 


本 节 讨 论 ó 函数， 该 函数 在 全 书 都 非常 有 用 。 在 信和 号 与 系统 类 的 工程 课程 中 ， 经 常会 
遇 到 这 个 信号 ， 许 多 学 生 很 困惑 该 如 何 表示 离散 时 间 信 号 和 连续 时 间 信 号 。 在 这 里 这 个 问 
题 同 样 也 会 出 现 ， 因 为 随机 过 程 既 可 以 用 离散 时 间 ( 序 列 ) 来 定义 ， 也 可 以 用 连续 时 间 来 定 
义 。 有 两 种 方法 可 以 用 来 表示 一 个 离散 时 间 序 列 。 第 一 种 方法 经 常用 于 基础 的 信号 处 理 课 
程 ， 该 方法 基于 克 罗 内 克 (Kronecker)6 函数 ， 


(1-9) 
0， 其 他 
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图 二 16a 给 出 了 一 个 简单 的 离散 时 间 现实 ， 用 带 实 心 圆 的 垂直 线段 表示 。 只 有 当 &E 2 为 
整数 的 时 候 该 过 程 才 存在 ， 在 整数 之 间 时 间 是 没有 定义 的 ， 并 且 这 些 现 实 的 积分 是 无 法 用 黎 
曼 积分 来 计算 的 。 如 果 不 需 要 将 这 个 过 程 拓展 到 连续 时 间 上 ,那么 这 个 符号 是 够 用 的 。 但 
是 ， 有 时 为 了 方便 ,我 们 想 用 一 个 符号 既 可 以 描述 离散 时 间 序 列 ， 又 可 以 描述 连续 时 间 过 
程 。 此 时 可 以 采用 狄 拉 克 ó 函数 ， 我 们 在 图 1-16b 中 用 一 个 现实 的 示例 来 进行 解释 。 狄 拉 
be ó 函数 用 一 个 箭头 表示 ， 而 且 在 这 些 箭 头 之 间 时 间 都 是 连续 、 有 定义 的 (严格 来 讲 ， 狄 
拉克 6 函数 不 是 一 个 函数 ， 在 附录 B 中 会 讲 到 它 其 实 是 一 个 广义 函数 )。 比 如 ， 我 们 可 以 
使 用 卷 积 和 积分 运算 对 其 进行 操作 ， 因 为 有 下 面 的 等 式 成 立 : 


r Sdt = 1 (1-10) 
xik] x(t) 
2 2 
1 1 
k t 
-1 aq 
xik] = 6[k-1]+26[k-2]-6[k-3] x(t) = ó(t-1)+26(t-2)-ó(t-3) 
[xdt 没 有 定义 [xbdt=2 
a) b) 


图 1-16 离散 时 间 的 现实 。a) 基于 克 罗 内 克 8 函数 ; b) 基于 狄 拉 克 8 函数 


还 可 以 用 狄 拉克 6 函数 表示 离散 随机 变量 的 输出 。 例 如 ， 对 于 图 1-17 表示 的 简单 的 通信 模 
型 Y 二 XX 十 N， 其 中 Y 表示 接收 到 的 随机 变量 ，X 是 被 传输 的 随机 变量 ，N 表示 加 性 随机 噪声 。 
假设 X 是 二 元 取 值 ， 以 相同 的 概率 取 一 1 或 十 1( 这 类 似 于 硬币 投掷 )， 很 显然 XX 是 一 个 对 称 的 
贝 努 里 随机 变量 。 可 以 用 下 面 的 克 罗 内 克 
6 函数 来 表示 X 的 概率 质量 函数 ; 
pxLz] = /2)G[z—1]+8[z+1]) Ax 

(1-11) 

此 外 ， 也 可 以 用 图 1-18 的 狄 拉克 ó 





函数 来 表示 X 的 概率 密度 函数 ; pdf: AGN 信 道 
xz) 一 (1/2)L8SGCz 一 1) 十 SCz 十 1)] fx(x) fN (n) fy(y) 

(1-12) 图 1-17 加 性 高 斯 白 噪声 (AWGN) 信 道 ， 二 元 随机 信 
对 离散 随机 变量 而 言 ， 使 用 概率 密度 函 道 输入 。 和 X 是 离散 随机 变量 ，N 和 了 是 连 
数 的 优势 就 在 于 可 以 使 用 微 积 分 中 的 很 续 随机 变量 


多 方法 ， 因 为 概率 密度 函数 的 定义 域 是 
整个 实 线 ， 而 不 仅仅 是 整数 。 因 此 ， 在 后 面 的 章节 我 们 都 采用 概率 密度 函数 来 描述 离散 随 
机 变量 的 分 布 情况 。 同 样 地 ， 该 方法 对 图 1-17 中 的 混合 随机 变量 和 混合 随机 过 程 也 是 非 
常 方便 的 。 

GED 候 设 图 1-17 PHRF R) ERES RMP KEEAD HE), HEFER 
函数 表达 式 如 下 (这 是 一 个 非常 典型 的 曲线 ): 
fxm = exp( 一 下 125) (1-13) 
其 中 表示 方差 。 这 就 是 加 性 高 斯 噪声 (AGN) 信 道 ， 在 通信 中 这 也 是 最 常 研究 的 信道 模 
型 ， 其 概率 密度 函数 如 图 1-18 所 示 。 根 据 狄 拉克 6 函数 可 知 ， 接 收 到 的 随机 变量 Y 的 概 
率 密 度 函 数 可 以 由 fx(zx)( 式 (1-12)) 和 fy(y)(( 式 1-13)) 相 卷 积 得 到 ( 见 第 4 章 ): 
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fr =| fr — fr do 








== = ERG Sma aC 041) lexp(— TAT 
no e 
1 
= [exp(— (y + 1)*/20?) + exp(— (y — 1)?/20") ] (1-14) 
2 V2ro’ 





95 0 5 
x, n, y 


图 1-18 加 性 高 斯 白 噪声 (AWGN) 信 道上 的 概率 密度 函数 。( i ) 信 道 输入 X: 对 称 贝 努 里 随机 变量 ， 概 
率 密度 函数 为 fx(o); Ci AN: 高 斯 随机 变量 ， 概 率 密度 函数 为 fs (n); (ü fain Y: 
双 峰 随机 变量 ， 概 率 密度 函数 为 fy Cy) = fx(z)* fw(n)， 其 中 * 表示 卷 积 运算 


上 述 推 导 用 到 了 狄 拉 克 9 函数 的 平移 特性 ( 见 附录 B). E 1-18 同时 也 给 出 了 输出 Y 的 概率 密 
EEA fy(y)。 从 式 (1-14) 还 可 以 看 出 ， 高 斯 概率 密度 函数 同时 往 右 边 ( 中 心 为 1) 和 左边 (中 
心 为 一 1) 都 进行 了 平移 ， 并 且 两 个 波峰 的 高 度 都 乘 以 了 1/2， 这 是 因为 fy(y) 下 方 的 总 面积 
(两 个 平移 后 的 高 斯 概率 密度 函数 的 和 ) 必 须 为 1。 由 于 离散 随机 变量 义 的 概率 密度 函数 采用 
了 狄 拉克 9》 函数， 因此 可 以 通过 连续 时 间 卷 积 来 很 简单 地 推导 出 AO. < 

我 们 预览 了 一 些 用 于 随机 变量 建 模 的 方法 。 在 1.2 节 ， 我 们 回顾 了 离散 (连续 ) 时 间 信 
号 和 系统 的 一 些 基 本 方法 。 在 第 8 se, 这些 方 法 将 用 于 处 理 随机 过 程 ， 同 时 也 会 用 于 本 书 
第 三 部 分 中 关于 信号 处 理 和 通信 方面 的 应 用 ， 以 及 其 他 章节 中 的 一 些 例子 。 


1.2 确定 性 信号 和 系统 


.在 工程 类 课程 中 ， 学 生 往往 先 学 习 信号 与 系统 在 时 域 中 的 知识 ， 然 后 再 转 到 频 域 学 
习 。 图 1-19 就 给 出 了 一 些 确定 性 信号 的 例子 。 
1.2.1 连续 时 间 

非 随 机 信号 z(t) 是 连续 时 间 t 的 函数 ，t€ER。 考 虑 下 面 的 正弦 信号 

x(t) = sin(ot)u(t) (1-15) 

该 信号 如 图 1-19 Bras. Hee [0，2x]，wu(t) 是 单位 阶 跃 函数 (也 称 Heaviside 函数 ， 见 附 
录 B)。 弧 度 频 率 w(rad/s) 与 普通 频率 f(Hz) 的 关系 为 w= 二 2xf。 对 于 一 个 特定 的 频率 w, 
我 们 可 以 计算 出 确定 性 函数 zx(z) 在 任意 时 间 z 的 准确 数值 。 图 1-19 同时 也 给 出 了 其 他 一 些 
确定 性 函数 的 例子 。 

信和 号 波形 还 可 以 在 频 域 进行 研究 ， 采 用 傅 里 叶 变换 方法 
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Tim g Ore ee (1-16) 


x(py= is x(t)exp(— j2n ft)dt (1-17) 


x(f) 





0 1 2 3 4 5 6 


图 1-19 确定 性 信号 的 例子 : 正弦 rt) = sin(t)u(2), 指数 c() exp(—tu(t4), HR z(4) = 
0. 8u(t— 1.5), HP wu(z) 为 单位 阶 跃 函数 


或 者 也 可 以 采用 拉 普 拉 斯 变换 
Xts) = | atiexp(—w dt (1-18) 


其 中 ;会 o 十 jw 是 一 个 复 变量 ，j= V 一 1，o 表示 奈 培 频率 (neper frequency). FEMA C 中 
对 这 些 变换 进行 了 总 结 ， 并 归纳 了 变换 的 性 质 和 一 些 有 用 的 变换 关系 对 。( 请 注意 : 在 这 
些 变 换 中 也 采用 了 大 写字 母 ， 不 要 和 随机 变量 混淆 在 一 起 了 。 读 者 可 以 根据 上 下 文 的 描 
述 ， 以 及 X(，) 的 自 变 量 来 对 这 两 者 进行 区 分 。) 这 里 给 出 欧 拉 公式 
exp(jet)= cos(wt) + Jsin(ot) (1-19) 
exp(— jwt)= cos(wt) — jsin(wt) (1-20) 
其 中 cos(wt) Al sin(wt) 分 别 表示 exp(jot) 的 实 部 和 虚 部 。 拉 普 拉 斯 变换 X(Cs) 是 c 和 w 的 函 
数 ， 一 般 都 在 s 平 面 上 通过 零 极点 来 表示 ， 零 点 表示 X(s) 为 0 的 位 置 ( 用 o 表 示 )， 极 点 表 
A X(s) 取 无 穷 大 的 位 置 ( 用 XX 表示)。 


对 应 的 逆 变 换 公 式 为 : 
z(D = 元 | X(w)expGut deo _ (1-21) 
=| X(frexp(2xft)df (1-22) 
=> X (s)exp(st) ds (1-23) 
É 


其 中 上 面 最 后 一 个 等 式 表示 在 复 s 平面 上 收敛 域 (ROC) 范 围 内 的 一 个 围 线 积分 。 此 外 ， 通 
过 变换 w 二 2xf， 将 dw 二 2xdf 带 和 人 第 一 个 积分 表达 式 ， 可 以 推导 出 第 二 个 积分 表达 式 。 
IBES 考虑 如 下 的 信号 : 





x(t) = cos(2xrfot) (1-24) 
其 中 €Z, AE fo 的 单位 是 Hz。 利 用 狄 拉 克 8 函数 ， 这 个 信号 频谱 的 数学 表达 式 为 : 
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XG) = (1/2)[8(f— fo SGf + fo) J (1-25) 

将 x(t) 和 X(f) 写 成 缴 度 频 率 v 的 函数 : 
X(t) = cos(wot) (1-26) 
X(w) = nielo — a) ow oo) J (1-27) 


正弦 信号 的 频率 是 Hz, 表示 在 一 秒 钟 内 该 信号 一 个 周期 (一 个 循环 ) 发 生 的 次 数 。 弧 度 频 
率 是 一 种 角度 单位 ， 正 弦 信 号 一 个 周期 的 变化 就 是 2x ME, ME 四 的 转换 关系 为 : G 
度 / 循 环 )( 循 环 / 秒 ) 王 弧度 / 秒 。 < 
这 些 变换 可 以 看 作 是 z Cr) 的 确定 性 互相 关 函 数 ,， 采用 的 是 复 指 数 表达 方式 
exp( 一 jwt)，exp( 一 j2xft)， 或 者 exp( 一 st)。 对 于 ww 的 每 个 取 值 ，X(w) 表 示 cD) PRM 
率 的 强度 或 “数量 ”。 因 为 对 于 每 个 w，X(o) 的 取 值 一 般 为 复数 ， 因 此 它 可 以 表示 成 如 下 的 
极 坐标 形式 : 

X(w) = | X(w) |exp(j$(w)) (1-28) 

其 中 平方 幅度 和 相位 分 别 为 : 
| X(w) |? = Re[X(w) ] Im [XCw)|] (1-29) 


dw) = aretan) Hey} | 
z(i 中 频率 分 量 m 的 数量 (强度 ) 为 |XCo) | 。 


下 面 的 拉 普 拉 斯 变换 在 s 二 1 处 有 一 个 极点 ， 在 s 二 士 jw 处 有 一 对 复 零点 ， 如 
图 1-20 的 s 平面 所 示 : 


(1-30) 








2 
X(s) = H (1-31) 
s— 1 
右 半 平面 ( oz>0 ) : 
左 半 平 面 ( o<0 ) : BO ag 
一 个 因果 系统 极点 
的 稳定 区 域 在 E-1 e = 
# 3803 函数 的 频率 响应 
在 jw 轴 上 体现 


图 1-20 例 1-4 中 拉 普 拉 斯 变换 X(s) 二 (5 十 1)/(s 一 了 ) 在 平面 上 的 零 极点 


极点 体现 了 z(t) 的 很 多 特性 ， 比 如 有 界 性 (c<0)、 衰 减速 率 ( 看 o 与 0 的 接近 程度 )， 
以 及 判断 有 无 正弦 分 量 ( 当 极 点 不 在 实 轴 上 时 存在 正弦 分 量 )。 将 和 (s) 在 jw 上 投影 就 可 以 
得 到 工 (六 的 传 里 叶 变 换 ， 式 (1-31) 的 传 里 叶 变 换 为 : 





ww — w —1+jole’ —1) _ ç _ 
i = a+ jb l (1-32) 
H a=W —1)/ lw +1), b=wlw 1l) tl) AO FE jJ WE FE A: 
2 2 # — (o° — 1) Z 
|X lw) | a+b | (1-33) 
arg| X(w) |= arctan(b/a) = arctan(w) (1-34) 


以 ww 为 横 坐 标 ， 图 1-21 分 别 绘 出 了 平方 幅度 和 相位 。X(w) 给 出 了 信号 频率 分 量 的 许多 信 
息 ， 因 此 也 被 称 作 频谱 。 一 般 将 平方 幅度 以 分 贝 (dB) 为 单位 给 出 : 
l0lg( | X(w) |*) (1-35) 
可 以 看 出 ， 图 形 中 “开口 "由 零点 z= +j 的 位 置 决定 ， 相 位 在 w= 二 0 附近 几乎 为 线性 的 。 a 
工程 课程 中 讲 到 的 系统 往往 都 是 线性 时 不 变 (LTD) 滤 波 嚣 ， 冲 激 响 应 函数 为 h(t)。 当 
输入 为 z(t?) 时 ， 通 过 下 面 的 卷 积 积分 可 求 出 该 系统 的 输出 为 : 


lhe [ra lain ae [za EEE i (1-36) 
0 
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可 以 看 出 ，xz(t) 和 有 (2) 是 对 称 的 ;， y(t) 二 h(t) x rA) =al) x 有 h(t)。 系 统 的 线性 性 质 
表明 结果 是 可 盒 加 的 ， 系 统 的 时 不 变 特性 表明 冲 激 响 应 不 随时 间 的 平移 而 发 生变 化 ， 因 此 
上 面 的 h(t 一 z) 可 以 写成 一 个 更 一 般 的 表达 式 h(i,r)。h(t) 的 拉 普 拉 斯 变换 就 是 系统 的 传递 
函数 Hs), hO YE BY AE HR 互 (w) 就 是 对 应 的 频率 相应 。 在 域 中 线性 时 不 变 系 统 的 输 
HA: 

Y(s) = H(s) X(s) (1-37) 
1.5 





g _ 05 
T = 
T? Ss 0 
x =: 
= o 
5 
s -0.5 
-40 š 
-50 
S A T 0 1 -15 


w 


a) b) 
图 1-21 例 1-4 中 的 傅 里 时 变换 Xoh X(s) 一 (2 十 1)7/(Gs 一 1 得 出 。a) 傅 里 叶 变 换 的 平方 幅度 (单位 
为 dB); b) 傅 里 叶 变换 的 相位 
fe Hi BF k rB BJ $j A Y( a) = Hw) X(w) A Y(f) =H(/)X( f). 
如 果 一 个 线性 系统 的 输入 和 输出 分 别 为 x(t) 和 y(t)， 那么 这 个 系统 就 可 以 用 下 面 的 线 
性 差分 方程 (DE) 来 建 模 ， 系数 {do 9°** saN ;bo stt bm } 为 常数 
ee 
= 














1 a +a “a af see 十 aoy(t) 
=s CD z e ; + £h dato +z (1-38) 
BE ET ua 
> wy C) = Sie" ”(t) (1-39) 
上 标 表示 求 导 的 阶 数 。 假设 初始 状态 为 0. 传递 函数 就 可 以 写成 两 个 多 项 式 相 除 的 形式 
bs 
Hç = Y Cs) = s= (1-40) 
X(s) 
Sua s" 


将 上 式 进 行 拉 普 拉 斯 道 变换 就 可 以 求 出 ha) (一 般 情 况 下 w 王 1)。 这 种 有 理 函 数 是 很 重要 
的 ， 因 为 通过 部 分 分 式 展开 法 (PFE) 可 以 很 简单 地 求 出 逆 变 换 。 

我 们 在 时 域 和 频 域 对 确定 性 信号 进行 了 描述 ， 也 非常 有 兴趣 将 这 种 思路 拓展 到 随机 信 
号 ， 但 我 们 并 不 打算 研究 随机 系统 。 但 在 后 面 的 第 11 一 13 章 有 几 个 例外 ， 比 如 卡尔 曼 滤 
波 器 、 自 适应 滤波 器 和 盲 均衡 器 等 ， 为 了 满足 某 些 优化 准则 这 些 滤 波 器 是 时 变 的 。 一 般 情 
况 下 ,我 们 假设 系统 是 固定 的 ， 用 一 个 恒 系 数 的 线性 差分 方程 来 对 该 系统 进行 建 模 ， 其 冲 
激 响应 函数 为 h(t)。 当 然 了 ， 许 多 实际 系统 往往 是 时 变 的 ， 此 时 线性 差分 方程 只 是 系统 动 
力学 的 一 个 近似 模型 。 实 际 上 ， 许 多 系统 是 非 线 性 的 ， 或 者 说 这 些 系统 是 线性 分 量 和 非 线 
性 分 量 的 组 合 。 接 下 来 ， 我 们 考虑 一 个 可 能 是 最 简单 的 非 线性 系统 ， 即 无 记忆 系统 。 Hic 
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忆 系 统 不 存储 输入 或 输出 的 任何 过 去 的 信息 ， 它 当前 时 刻 的 输出 只 取决 于 当前 时 刻 的 输 
人。 这 种 系统 可 以 用 如 下 的 方程 来 表示 ， 
y(t) = g(xz(t)) (1-41) 
其 中 g(，) 是 线性 时 不 变 的 ，y (7) 在 每 个 时 刻 的 取 值 就 是 这 个 函数 输入 x(?) 的 结果 。 
图 1-22 归纳 了 上 面 讨论 的 两 种 系统 。 
1.2.2 离散 时 间 xt 
离散 时 间 信 号 可 以 用 克 罗 内 克 6 函 
数 或 者 狄 拉克 6 函数 来 表示 。 例 如 ， 如 
果 对 一 个 连续 时 间 信 和 号 z(t) 进 行 采样 得 
到 离散 时 间 信 号 ， 很 显然 这 个 采样 过 程 


y(t) 





可 以 用 如 下 的 乘法 表示 : aes ttn) 
x=, (£) = rs) (1-42) "ë 
其 中 z, (表示 采样 后 的 信和 号， 
°° 图 1-22 ”本 书 中 讨论 的 两 种 系统 。a) 非 线性 无 记忆 映 
s(t) = 28 — xT.) (1-43) 射 g(，); b) 线性 时 不 变 系统 ， 冲 激 响 应 
式 中 ，s( 四 表示 采样 信号 ，T, 是 采样 周 ERARO, RRA HO) 


期 ， 采 样 频率 f.—=1/T,, K 1-23 描述 了 一 个 均匀 采样 的 过 程 。 通 过 采用 狄 拉克 ó 函数， 
r OERA W t EAEL, BE zz; 只 在 一 些 离散 采样 时 刻 取 值 为 非 0。 在 此 假设 满足 
奈 奎 斯 特 采 样 定理 : KEE f. 大 于 x(z) 所 有 分 量 中 最 高 频率 的 两 倍 ， 这 样 就 不 会 发 生 混 
瑟 现 象 (也 就 是 说 频率 响应 平移 后 不 会 发 生 重合 )。 


x(t) s(t) 
t — t 
k 


a) b) 


Xs (t) ys (t) 
ri 
| | all — 
t t 
c) d) 


图 1-23 ”对 一 个 确定 性 信号 进行 采样 。a) 连续 时 间 信 号 z(t); b) 根据 狄 拉克 5 函数 定义 的 采样 信号 
s), RAW T, 是 均匀 的 ; c) 采样 后 的 信号 2); d) 滤波 后 的 信号 y, G) = z, G) * hlt), 
其 中 AD 是 一 个 矩形 冲 激 响 应 函数 ，T 一 了 


根据 狄 拉克 6 函数 的 采样 特性 可 知 ， 采样 后 的 信号 波形 可 以 表示 为 如 下 形式 : 
x(t) = >) 2(nT,6(t—n®T,) (1-44) 


从 图 1-23 可 以 看 出 ，z,() 是 “一 长 串 ” 狄 拉克 6 函数 ， 每 个 冲 激 的 强度 由 z(z) 在 该 采 
样 时 刻 的 取 值 决定 。 前 面 提 到 过 ， 因 为 zx,(2) 在 所 有 的 上 上 都 有 定义 ， 使 用 狄 拉 克 ó 函数 的 
优势 在 于 可 以 很 轻松 地 进行 积分 运算 。 例 如 ， 假 设 用 一 个 连续 时 间 滤 波 器 h(z) 来 对 z, (2) 
进行 滤波 ， 通 过 卷 积 积分 可 得 


y= | zh ade = DaT) | ae- nT AG Ddr 
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= DzrnT)h(t— nT,) (1-45) 


n=0 


上 式 用 到 了 狄 拉克 6 函数 的 平移 特性 。 从 图 1-23 可 以 看 出 ，y, (zi 仍然 是 一 个 连续 时 间 函 
数 ， 假 设 和 矩形 函数 h(z) 的 宽度 了 不 大 于 采样 周期 了 ,。 式 (1-45) 中 的 最 终 表 达 式 就 是 输入 
信和 号 与 滤波 器 之 间 的 离散 时 间 卷 积 。 在 一 个 离散 时 间 系 统 中 ， 我 们 只 对 整数 倍 T, 时 刻 的 
(bb 感 兴趣 ， 因 此 离散 时 间 的 输出 还 可 以 写成 如 下 形式 : 


y.[kT.] = Meter, JhLkT, — aT. ] = Meter, Jal(k—n)T,] (1-46) 
为 了 运算 的 简便 ， 在 大 部 分 的 信号 处 理 课程 中 一 般 都 假设 T 一 1， 因 此 上 面 的 表达 式 

可 以 简化 为 我 们 熟悉 的 离散 时 间 卷 积 : 
ylk] = > =Ln]h[k —n] = ZUA[Lz]z[A —n] (1-47) 


式 (1-47) 中 h[&] 和 z[k] 是 可 以 相互 交换 的 ， 并 且 y [后 的 下 标 也 省 略 了 ， 因 为 这 里 全 都 是 
离散 时 间 变量 (在 此 不 考虑 对 连续 时 间 信 和 号 的 采样 过 程 )。 如 果 只 考虑 离散 时 间 信号 和 系 
统 ， 那 么 就 应 该 使 用 克 罗 内 克 》 函数 ， 而 不 再 使 用 狄 拉克 8 函数 ， 此 时 式 (1-44) 写 为 ， 


z[k] = ze —n] (1-48) 


Adr 48) 的 求 和 表达 式 看 上 去 有 些 复杂 ， 因为 等 号 的 两 端 都 出 现 了 cle ], 在 等 号 左 
边 代 入 一 个 具体 的 上 ， 等 号 右 端 就 会 取 到 某 个 取 值 (比如 代入 R= 1, AW ó 函数 的 缘故 ， 
那么 在 求 和 表达 式 中 就 只 有 n=1 这 一 项 出 现 )。 图 1-24 给 出 了 x, (+) 的 离散 时 间 形 式 
z[k]。 如 果 采 用 克 罗 内 克 6 函数 ， 那 么 滤波 器 的 冲 激 响 应 函数 表达 式 为 如 下 形式 ， 

h[k] = > h[nJə[# —n] (1-49) 
滤波 器 的 输出 就 是 式 (1-47) 的 离散 时 间 卷 积 。 图 1-24 给 出 了 离散 时 间 滤 波 器 以 及 输出 
yk]. 

xik] hik] 


a) b) 


yik] 
= 圆 表示 总 体 的 响应 
P 


虚线 ，h[ 有 第 1 个 
冲 激 的 响应 





SB. HE2 
冲 激 的 响应 


c) 


图 1-24 离散 时 间 信 号 和 滤波 器 。a) 输入 信号 z[k]; b) 滤波 器 的 冲 激 响应 函数 ALA]; c) 滤波 器 输 
出 y[#]==[k&J] * ALR] 


采样 后 信号 的 拉 普 拉 斯 变换 为 : 
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Eeo H RE 


° 


=F xl nT i 8(t — nT, )exp(— st) dt 
n=0 


o 


= 51z[mT, Jexp[— nT,s ] (1-50) 
可 以 看 出 式 (1-51) 的 周期 为 T, 
exp(sT,) = exp(oT,)[cos(wT,) +jsin(wT,) | 13t) 
定义 = 会 exp(s)， 通 过 拉 普 拉 斯 变换 直接 得 到 变换 的 表达 式 如 下 ， 
X(z) = Delon, Ja”. (1-52) 


从 图 1-25 可 以 看 出 ， 映 射 e=exp() XR EE s 平面 到 > 平面 的 一 个 变换 。 这 个 变换 
具有 以 下 一 些 特性 : 
ez 平面 上 的 实 轴 为 exp(cT,)cos(woT,)( 式 (1-51) 的 第 1 项 )。z 平 面 的 虚 轴 为 exp(cT,) 
sin(wT,)( 式 (1-51) 的 第 2 项 )。o==0 时 表示 单位 圆 ， 在 > 平面 上 的 表达 式 为 : 
cos(wI,) + jsin(wT,) = exp(joT,) (1-53) 
e s Fit LN Ze BB (o<0) BRAT BAA CA exp(oT.<1). s EI E MAEM 
4} (o>0) BRAT Bl) š (y Sb (B 298 exp(oT,) > 1). s 平面 左 半 平 面 上 的 一 系列 水 平 “ 线 
BERA x 平 面 上 的 “扇形 区 ?”。 当 o 王 一 ceo 时。 所 有 的 o 映射 为 原点 z= 二 0。 
ejw 轴 上 的 区 间 [一 w/2,w,/2j 映射 为 z 平 面 上 的 单位 圆 。 当 kEZ 时 ，jw 轴 上 所 有 
WF [— (+ 1)o,/2,— kw, /2],[ bo, /2,(k--1)o,/2] 的 区 间 都 映射 为 = 平面 上 的 
单位 圆 。 


右 半 平面 映射 





左 半 平 面 映射 | Te 
到 单位 国内 ` a f Perea 
š + TAT 
w= 
实 四 
z 平 面 





1-25 s 平 面 到 x 平面 的 映射 
在 式 (1-52) 中 代入 o==0， 得 到 r==1 和 >* 一 exp(jo) ， 可 得 该 离散 时 间 信 号 的 频率 响应 为 
X(jw) = >) z[k Jexp(— jwk) (1-54) 


k=0 


HPT =1. RNE X(jo) 的 表达 式 中 用 了 变量 j， 这 样 离散 时 间 传 里 叶 变换 (DTFT) 就 不 
会 同 连续 时 间 传 里 叶 变换 Xo) ABE. MAE 1-25 以 及 上 面 的 讨论 可 知 ，X(w) “HSE” 
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着 单位 圆 ， 当 wow 一 士 r 时 ，X(jw) 映 射 到 单位 圆 最 左 端的 点 ( 设 T, 二 1)。 利 用 欧 拉 公 式 可 以 
很 容易 验证 这 个 结论 : 
z = rexp(jw) = rcos(w) + jrsin(w) (1-55) 
当 z 王 一 1( 单 位 圆 最 左边 的 那个 点 ) 和 r= 1 时 ， 正 弦 函 数 取 值 为 0， 余 弦 函 数 取 值 为 
一 1。 对 于 所 有 非 0 整数 倍 的 土 x+， 这 个 结论 始终 成 立 。 当 |w| 超 过 x 时 ， 频 率 响 应 重复 出 
现 。 这 种 重复 特性 是 采样 的 结果 ,采样 过 程 使 得 原始 的 频率 响应 进行 了 多 次 平移 ， 以 整数 
倍 采 样 率 (f, 二 1/T,) 为 单位 进行 平移 。 当 T, #1 时 , -单位 贺 上 最 左边 的 点 为 士 f;/2= 
1/2T,( 采 样 频率 的 一 半 )。 对 于 弧度 频率 ,单位 圆 上 最 左边 的 点 为 土 w./2 二 十 xf;， 如 图 1-25 
所 示 。 因 为 频率 响应 是 重复 出 现 的 ， 因 此 一 般 只 画 出 |w| 二 x 的 结果 (T, 二 1)。 


,~ 
X(z) = ZZE 1/2 (1-56) 


Zz 平面 


#Ez=1/2+j2, 1/2-j/2 ` 
处 为 零点 





图 1-26 例 1-5 中 X(Cz) 的 零 极点 位 置 示意 图 


代入 < 一 exp(jwo)， 并 且 将 X(Cz) 在 单位 圆 上 取 值 ， 可 得 相应 的 DTFT 结果 : 
XGw) — exp(j2w) exp(jw) +1/2 _ exp(j2w) — exp(jw) +1/2 _ exp(— jw) — 1/2 


exp(jw) — 1/2 exp(jw) — 1/2 exp(— jw) — 1/2 
_ exp(jw) — (1/2) exp(j2w) + cos(w) — 5/4 (1-57) 
5/4 — cos(w) 


实 部 和 虚 部 分 别 为 : 
_ 2cos(w) —(1/2)cos(2w) — 5/4 


Rel X (jw) | 一 (1-58) 
; _ sin(w) — (1/2)sin(2w) M 
Im[XGw)] = 5/4 — cos(w) aksi 
其 幅 频 特性 和 相 频 特性 曲线 如 图 1-27 所 示 。 
4 t5 
3 
panty e 1 
S 
= _ 05 
£ ° š 
L 5 
š Š “-0.5 
si -1 
-5 
= -1.5 
-3 -2 -1 0 1 2 3 -3 -2 -1 0 1 2 3 
w w 
a) b) 


fA 1-27 例 1-5 中 义 (z) 的 DTFT 结果 。a) 幅 度 平方 (dB); b) 相 位 < 
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1.2.3 离散 时 间 滤 波 器 
将 式 (1-47) 中 的 卷 积 结果 表示 为 滤波 器 的 输出 ， 在 < 域 上 的 结果 为 : 


Y(z) = H(z)X(z) (1-60) 
其 中 ， 下 式 就 是 传递 函数 : 
H(z) = >)h[kjz™* (1-61) 
同 理 可 得 输出 的 频率 响应 为 : 
f Y Go) = H (je) X (e) (1-62) 
如 果 式 (1-47) 和 式 人 -61) 中 的 求 和 项 都 是 有 限 的 ,那么 这 就 是 一 个 有 限 长 度 冲 激 响应 
(FIR) 的 滤波 器 。 如 果 求 和 限 为 {10,M 一 1); 传 x[k] bo yik) 
26 KAN F : 
Hurr(z) = Sipe" (1-63) 






此 时 式 (1-47) 变 为 : 
实心 圆 表示 _ 


M-1 
yk] = >]b,z[Ë#—mJ] (1-64) 信号 求 和 Z 


m= 


Hp (bn) KIR FIR 滤波 器 的 各 阶 系数 。 因 为 求 和 Zina ! 
下 限 大 于 等 于 0， 因 此 这 个 滤波 器 是 因果 的 。 图 zene °. 
1-28 给 出 了 一 个 FIR 滤波 器 的 结构 框图 。 它 包 (TDL) | 

含 一 个 多 抽 头 的 延迟 线 (TDL) 结 构 ， 可 用 于 存储 <“ | bmi | 
输入 值 zLA] 的 时 延 数据 ， 比 如 {z[k 一 1],…， 

z[k 一 M 十 1]}。 在 图 中 用 =:! 来 表示 时 延 运算 图 1-28 PIR 滤波 器 的 结构 
符 ， 表 示 输 入 alk], 输出 z[k—11, 


如 果 式 (1-47) 的 求 和 上 限 为 无 穷 大 ， 那 么 这 个 滤波 器 就 是 无 限 冲 激 响 应 (HR) 的 。 此 
时 传递 函数 为 : 


仅 正 反馈 阶段 


> 6,2 ™ 


Hur (2) = = (1-65) 
Maz 
上 式 给 出 的 是 离散 时 间 的 传递 函数 ， 与 之 对 比 式 (1-40) 给 出 的 是 连续 时 间 的 传递 函数 。 
人 在 此 假设 ao =1 


ylk] = orth =m + Ya y[Ë —n] (1-66) 


图 1-29 给 出 了 一 些 IIR 滤波 器 的 例子 。 IIR 滤波 器 存在 多 种 类 型 ， 图 1-29a 所 示 的 结构 称 
为 直接 工 型 ， 它 就 是 式 (1-66) 差 分 方程 的 一 个 直接 实现 。 因 为 这 个 滤波 器 是 线性 时 不 变 
的 ， 它 的 前 向 和 后 向 网 格 是 可 以 相互 交换 的 ， 这样 可 得 第 二 种 类 型 的 IIR 滤波 器 ， 如 
图 1-29b 所 示 。 在 这 个 结构 中 ， 两 个 时 延 信 号 是 相同 的 ， 因 此 这 两 个 时 延 信号 线 可 以 整合 
为 一 条 ， 得 到 直接 IT 型 ， 如 图 1-30a 所 示 。 这 种 结构 具有 最 少数 目的 延迟 单元 ， 延 迟 单元 
的 数目 为 max(M 一 1,N 一 1)。 

1.2.4 状态 空间 的 实现 


最 后 ， 我 们 简要 介绍 一 下 状态 空间 的 实现 。 利 用 状态 空间 可 以 很 方便 地 描述 一 个 线性 
系统 ， 也 可 以 用 于 第 11 章 将 要 介绍 的 卡尔 曼 滤 波 器 。 式 (1-66) 原 为 一 个 高 阶 的 HR 差分 方 
程 ， 将 其 改写 为 一 阶 向 量 差分 方程 就 可 得 到 状态 空间 的 实现 。 通 过 将 滤波 器 的 内 部 信号 定 
义 为 状态 {x,[k]}， 可 得 如 下 的 状态 向 量 : 
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x(k) & [z [Ë], zea lel)" (1-67) 
x[k] bo ao= 1 yik] xik] ao = bo y[k] 





图 1-29 IIR 滤波 器 结构 (M 二 N)。a) 直接 工 型 ，b) 直接 了 型 ， 两 个 降 阶 时 延 线 上 的 信号 是 相同 的 ， 
将 其 组 合 在 一 起 得 到 图 1-30a 


x[k] ao = bo y[k] x[k] bo ao =1 yik] 





anı < Txwid bm- 


a) b) 


图 1-30 IIR 滤波 器 结构 COM=N)。a) EM TARAS aS BJ BL 1 | CH 1-29b 中 的 两 个 降 阶 时 延 线 组 
合 在 一 起 ); b) 另外 一 种 配置 ， 将 升 阶 时 延 线 组 合 在 一 起 ， 此 时 状态 信号 的 定义 不 同 


1-30a 中 ， 为 简单 起 见 我 们 假设 M=N. RAMAN max(M—1.N—1). 在 直接 J][ 型 结构 中 
的 N 一 1 种 状态 其 实 就 是 时 延 线 上 的 信号 ， 因 此 我 们 可 以 写 出 下 面 的 系统 方程 : 


x[k +1] = Dasz [A] + z[k] 
z[k + 1] =x [k] 


aye eked maA | (1-68) 
根据 状态 向 量 的 定义 ， 可 得 下 面 的 递归 向 量 表达 式 : 
x[ek-+1] =-Ax[k]-+ bc [ek] (1-69) 
其 中 ， 
ay a; ese UN-i 
1 
1 0 0 ‘ 
AD 0 1° 00 Et, ee] (1-70) 
an: $ ` 
0 o to 
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差分 方程 还 可 en M=N): 


yik] = >. z,[k] + b. >a. z,[ El brk] (1-71) 
N 一 1 
= (b, + bo ay) 2,Lk] + bo xk] (1-72) 
一 1 
此 时 的 输出 结果 为 : 
yLk] = ce xk] + daelk] (1-73) 
其 中 ， 
z, 十 bsa) s**t sby- Fhan Ts d = b, (1-74) 


式 (1-69) 和 式 (1-73) 共 同 组 成 了 直接 [[ 型 滤波 器 的 状态 方程 ， 它 的 系数 为 {A,b,c,d})。 
将 直接 本 型 滤波 器 的 现实 进行 重新 整理 ， 还 可 以 得 到 其 他 形式 的 状态 方程 。 例 如 ， 在 
图 1-30b 中 ， 交 换 [klu y[Lk]， 反 转 所 有 的 箭头 指向 ， 交 换 求 和 与 节点 位 置 ， 此 时 可 得 
水 平 框图 的 对 偶 现 实 。 图 中 所 示 的 两 个 现实 具有 不 同 的 状态 空间 表示 ， 但 它们 的 传递 函数 
都 是 相同 的 (零点 极点 相同 )。 在 图 1-30b 中 ,我 们 仍然 把 状态 作为 时 延 的 输出 ， 此 时 相应 
: zilk +1] =b z=[#] + ai yk] + z+ [k] 


zn-z[k +1] =bs-z=[ Ë ] + an-2yLk ] + zs [k] 
tylk +1] =byi clk] tana yk] (1-75) 
代入 ylk]=z: [k] tbr Lk] : 
z [k + 1]=(5, + b.a,)z=[ËE] +arxı [k] + z[k] 


TN-2 Lk T 1] = (by-2 + boan )zLk] + ay-2Xy-2 Lk] -T ns Lk] 








ZNI(R 十 1] = (bna + bp an) z[k] -as-izs-i lk] (1-76) 
此 时 的 状态 参数 为 : 
a, 1 0 0 
az 0 1 ose i bi + ba, 
A 会 | : `. c 0l, b2 : (1-77) 
0 1 bn- + bo an 
AN- 0 eae, ©. OM, 
A[1,0,",0]7, d = bh (1-78) 


注意 : TEMS. RAE A ER- AYE. b 和 c HEAT FAR, d 
的 取 值 仍然 是 标量 boo 


1.3 基于 MATLAB 的 统计 信号 处 理 


尽管 本 书 既 讲 到 了 连续 时 间 随 机 过 程 ， 也 讲 到 了 离散 时 间 随 机 序列 , 但 所 有 基于 
MATLAB? 的 仿真 试验 都 是 关于 离散 时 间 序 列 的 。 在 本 节 ， 我 们 简要 介绍 产生 随机 序列 
的 一 些 方法 ， 同 时 还 介绍 一 些 滤波 函数 ， 利 用 这 些 函 数 可 以 改变 随机 序列 的 性 质 和 频 域 
特性 。 
1.3.1 产生 随机 数 的 方法 

MATLAB 中 的 随机 数 发 生 器 可 以 用 来 产生 伪 随 机 序列 X[k]， 这 些 样本 在 时 间 上 是 独 
立 的 ， 因 此 也 是 不 相关 的 。 有 两 种 基本 的 随机 数 发 生 器 : 


© MATLAB 是 Mathworks 公司 (3 Apple Hill Drive，Natick，MA) 的 注册 商标 。 
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1) randn (N,1), 产生 一 个 NX 1 的 实 随机 向 量 ， 该 随机 向 量 服从 零 均 值 ， 方 差 为 1 
高 斯 分 布 。 
2) rand (N,1) ,产生 NXl 的 随机 序列 ， 该 序列 [0,1] 区 间 上 服从 均匀 分 布 。 


图 1-31 给 出 了 MATLAB B 中 两 种 随机 数 发 生 器 2000 个 样本 的 统计 直方 图 ，n 表示 落 
在 zx 轴 上 某 个 特定 区 间 的 样本 数量 。 如 果 将 区 间 宽 度 te 同时 增加 样本 数量 ， 那 么 直方 
图 就 会 逐渐 趋向 于 概率 密度 函数 ， 








fx (z) = BE sunt 3? 2)( 标 准 高 斯 分 布 ) (1-79) 
J 2 
fx z) = Loa (oe) (ESTEEM EBA DA) (1-80) 
100 一 -一 一 一 一 ç ' y — 5 ‘ I k 

















a) 
图 1-31 MATLAB 中 两 种 随机 数 发 生 器 样本 的 统计 直方 图 (2000 个 样本 )。a) 标准 正 态 分 布 ; 
b) [0.1] 区 间 的 均匀 分 布 


1-80) 中 I(x) 为 指标 函数 ( 见 附录 B)。 即 使 样本 数目 无 限 多 ， 直 方 图 和 随机 数 发 生 咒 
也 只 是 一 种 近似 ， 因 为 在 计算 机 中 使 用 的 算法 是 有 限 精度 的 ， 不 可 能 产生 所 有 的 实数 。 
对 于 一 个 高 斯 随机 数 发 生 器 ， 如 果 想 改变 产生 的 随机 数 的 均值 和 方差 .那么 可 以 按照 
下 面 的 公式 来 修改 随机 序列 : 
Y[k] = ayX[k] + m, (1-81) 
此 时 YL&j 仍 然 服 从 高 斯 分 布 ， 均值 和 方差 分 别 为 py 和 of 。 请 注意 在 这 个 公式 中 XE 首先 
是 与 oy HR. Hain. KH ov (X[kj] 十 py) 得 到 的 结果 是 不 一 样 的 。 利 用 函数 rand 
和 randn 来 产生 的 随机 序列 如 图 1-32 所 示 。 很 明显 ， 高 斯 现实 的 变化 幅度 大 于 均匀 现实 的 
变化 幅度 ， Sa AnA ia se a a L0,1] 中。 不 同时 刻 的 样本 相互 之 间 是 独立 
的 ， 第 5 章 各 会 介绍 如 何 利 用 MATLAB 产生 相关 序列 。 


— s 








200 400 600 800 1000 1200 1400 1600 1800 2000 





200 400 600 BOQ 1000 a M00160 Se 


a) 
图 1-32 非 相 关 随 机 序列 的 现实 。a) 标准 正 态 分 布 : b) L0,1Jj 区 间 的 均匀 分 布 
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随机 数 发 生 器 randn 非常 有 用 ， 因 为 在 实际 情况 中 高 斯 过 程 是 很 常见 的 ， 比 如 通信 系统 
中 的 噪声 。 将 一 个 随机 变量 转变 为 男 外 一 个 随机 变量 是 比较 容易 的 ， 尤 其 是 对 于 rand 随机 数 
发 生 器 。 如 果 XX 是 一 个 [0,1] 区 间 的 均匀 分 布 随 机 变量 ，Fy(y) 是 目标 随机 变量 Y 的 累积 分 
布 函 数 ， 那 么 采用 第 二 章 介绍 的 变换 方法 ， 就 可 以 轻松 地 通过 如 下 的 变换 得 到 了 : 
| Y = Fy'(X) (1-82) 
其 中 Fy! Cy) dé Fy(y) 的 道 函 数 。 高 斯 随机 变量 的 累积 分 布艺 数 及 其 逆 函 数 如 图 1-33 所 示 。 
在 计算 机 仿真 中 ， 如 果 通 过 rand 产生 了 X 的 一 个 样本 ,那么 利用 式 (1-82) 的 变换 就 可 以 
得 到 Y。 请 注意 在 图 1-33 中 ， 逆 累积 分 布 函数 中 X 的 变化 范围 为 rand 函数 的 支撑 集 
[0,1]。 这 并 不 是 一 个 巧合 ”在 第 3 章 讨论 过 , Y 的 累积 分 布 函 数 为 : 
Fy(y) & P(Y < y) (1-83) 
根据 概率 公理 可 知 Fy(y) € [0.1] (这 点 可 从 图 1-33 看 出 )。Fy(y) 的 支撑 集 是 及 ， 尽 管 有 
的 随机 变量 的 支撑 集 是 有 限 集 ， 所 以 Fy (y) 的 取 值 为 0 或 1( 对 于 均匀 分 布 随 机 变量 )。 从 
图 1-33 的 曲线 可 以 看 出 ， 道 累积 分 布 函 数 的 值 域 是 整个 实 线 。rand 函数 生成 [0,1] 区 间 
上 的 均匀 分 布 ， 正 好 是 累积 分 布 函 数 的 值 域 。 通 过 逆 累 积分 布 函 数 对 rand 函数 产生 的 样 
本 进行 映射 ， 得 到 叉 上 相应 的 样本 ,也 就 是 该 逆 累 积分 布 函 数 定义 的 随机 变量 。 在 
MATLAB 中 有 很 多 种 类 型 的 随机 数 发 生 器 ,这 些 不 同类 型 的 随机 数 都 可 以 通过 调用 
random(“type”，“parameters”) 来 产生 ， 其 中 “type” 表 示 随 机 数 的 类 型 ，“parameters” 表 
示 概 率 密度 函数 的 参数 (比如 位 置 、 尺 度 、 形 态 、 自 由 度 、 门 限 等 )。 


ed 


F(x), Fx (x) 
° 


-4 -3 -2 -1 0 1 2 3 4 
x 


图 1-33 fey Oy BLE H RERA AO JE y pa 88 
1.3.2 滤波 
MATLAB 中 有 两 个 基本 函数 可 以 用 来 对 序列 进行 滤波 : 
e filer(b,a,x) : 产生 一 个 与 输入 向 量 x 相同 维 数 的 输出 向 量 , 其 中 a = [ayes 
av] Alb = [by ote ,bx1] 表示 式 (1-66) 中 线性 差分 方程 的 滤波 器 系数 。 图 1-30a 
中 采用 的 是 直接 下 型 。 
è conv(h,x) : 实现 式 (1-47) 的 卷 积 ， 产 生 一 个 长 度 为 2N 一 1 的 输出 向 量 。 其 中 求 和 限 
为 {0…,N 一 1)， 有 限 长 度 的 滤波 器 系数 向 量 为 h = [A[0],:-: ALN — 1], 输入 向 量 
为 x 二 [x[k],…,xLk 一 NN 十 11]”。 
WR a=1 同样 也 可 以 实现 一 个 FIR 滤波 器 。 函 数 conv 也 可 以 实现 一 个 FIR 滤波 
器 ， 不 过 与 函数 filter 有 所 区 别 。 因 为 conv 输出 向 量 的 长 度 超 过 了 输入 向 量 x 的 长 度 ， 所 
以 把 x 中 那些 “多 出 来 "的 z[kj] 都 假设 为 0。 因此， 在 许多 滤波 操作 中 都 倾向 于 使 用 函数 
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filter, EH 1-34 给 出 了 函数 filter(b,a,x) AY FIR 滤波 器 输出 





结果 ， 输 入 为 图 1-32a 中 的 高 


斯 随机 序列 ， 其 中 由 = (1/10)L1, ,1 € R",a = 1, 该 滤波 器 具有 低 通 的 频率 响应 ， 而 
且 我 们 可 以 看 出 输出 没有 输入 显得 那么 “ 嗜 杂 ”， 该 输出 序列 是 相关 序列 。 
滤波 器 输出 
= 
> 
-0.5 
200 400 600 800 1000 1200 1400 1600 1800 2000 
图 1-34 对 图 1-32a) 中 的 高 斯 随机 序列 进行 滤波 输出 
习题 
5 函数 其 中 ，u(k) 是 一 个 离散 单位 阶 跃 函数 。 
1-1 (a) (AOR PRK g(z) 在 区 间 [一 1,2.5] 的 面积 : 1-5 可 以 用 下 面 的 矩形 函数 来 对 狄 拉克 ó 函数 进 
g(x) = 56(z) + 36(z=— 2) — 26(z — 3) 行 建 模 ( 见 附录 B): 
(1-84) d(x) =lim(1/a)rect(2/a) (1-90) 
(b) 试 给 出 函数 A(z) E R*= (0,00) 上 的 一 (a) 请 根据 上 面 的 定 义 给 出 SCaz) 的 表达 
般 表达 式 : K, a0. 
wee Ae a Pem (b) R OWE, JEN: 
1⁄6 狄 拉 克 冲 激 序列 的 定义 如 下 : 
g(x) = > O(a—n), 
s(x) & meat (1-92) 
h(x) = exp(— z)u(zx) (1-86) 
(b) 对 下 面 两 个 函数 再 次 进行 卷 积 运算 : (a) 请 给 出 :az) 的 表达 式 ， 
ate) = atap a ya (b) 请 证 明 下 面 的 等 式 : 
h(x) = exp(— z)u(z) (1-87) 6(sin(xz)) = (1/x)s(x) (1-93) 
13 (a) 请 用 两 个 6 函数 表示 6(z’ 一 1)。 SQUARES 
(b) 请 证 明 ¿(1/4— z) E — TRE Pa 3, 17 请 计算 下 面 系统 的 冲 激 响应 h(t), 其 中 输入 
14 (a) 请 对 下 面 两 个 函数 进行 卷 积 运算 ， Ft AE) A VE) 
3 EID 十 2 dD + yc) dd) 
g[k]= 5712"8[k — n], dr 
I 1-8 已 知 系统 的 冲 激 响 应 如 下 ， 试 推导 该 系统 的 
单位 阶 跃 响应 : 
h[k]= k—r (1-88) 
LA] >t 1 h(t) = 2exp(— tult) + exp(— (1— 5))u(t — 5) 
(b) 对 下 面 两 个 函数 再 次 进行 卷 积 运算 : (1-95) 
19 请 计算 下 面 信 号 的 拉 普 拉 斯 变换 ， 并 给 出 它 


glk] = x 3"8[k— n], 


h[k] = (1/3)*uEk] (1-89) 


AIAI We Be eR CROC), 其 中 erf (2) RAR RF 
PR RL 


a(t) = exp(—5|:|), zte) = erf(z)u(t) 


(1-96) 
1-10 按照 习题 1-9 的 要 求 再 次 进行 计算 : 
xı (t) = rect(t), z(t)=1/: (1-97) 
1-11 按照 习题 1-9 的 要 求 再 次 进行 计算 : 
xı (t) 一 iexp( 一 HW 1), 
x(t) =cos(2nt — 5)u(t— 2) (1-98) 


1-12 利用 部 分 分 式 展开 法 计算 拉 普 拉 斯 逆 变 换 ， 
其 中 收敛 域 为 Re(s) 二 一 1。 


tea 
ee ST 


1-13 ”按照 习题 1-12 的 要 求 再 次 进行 计算 ， 其 中 
收敛 域 为 一 1 二 Re(s) 二 2。 
2s 
5 一 5 一 2 
对 下 面 两 个 函数 进行 卷 积 : 
x(t) = exp(— 2t)u(t) + exp(—t+Dult—1), 
A(t) = G — 2) (1-101) 


(1-99) 


H(s) = 





(1-100) 
1-14 


1-15 
exp(—t)utt—1), 


dy(t) 
dt 


1-16 WE HE PD AA SE PR AT h An PT: 
y( = f z(r)AGt 十 r)dr (1-103) 


(a) 请 利用 XCo) 和 Hw) iF Yow). 
(b) 请 计算 习题 1-14 中 信和 号 的 协 相关 函数 。 
对 于 实 值 (1)， 请 证 明 帕 斯 塞 尔 定理 。 

| ewa = i, IXP | df (1-104) 


请 计算 下 面 信号 的 傅 里 叶 变换 ; 
x(t) = 5rect(5t), 


+ 4y(2) = xlt) (1-102) 


1-18 


x(t) = exp(— |t|)cos(4xt) (1-105) 
1-19 请 计算 下 面 信号 的 频率 响应 YC): 
= Lf 7 Zee) I 
ya) = LF = d (1-106) 
离散 时 间 信 号 和 系统 


1-20 计算 下 面 系统 的 冲 激 响应 ALA]， 其 中 输入 
H clk], hA yk]. 
y[k] + 2y[k — 1] + 4y[# — 2] 

= xz[#]-+ 2z=[Ë— 1] (1-107) 
已 知 系统 的 冲 激 响应 如 下 ， 试 推导 该 系统 
的 单位 阶 跃 响应 : 

h[k] = (1/3):u[k] 一 2u[k — 1] (1-108) 
请 计算 下 面 信号 的 zx 变换， 并 给 出 它们 的 收 
BU CROC) ; 

a LkJ= (k— 1) ulk— 1], 

z Í[k]= (1/2)*a[Ë]-- 4*ulk+ 1] (1-109) 
按照 习题 1-22 的 要 求 再 次 进行 计算 : 

a [k]J= 34x[ 一 有 十 1]， 
x:[k]= 2ulk] —2ulk—5] 


计算 下 面 系统 的 输出 y(2， 输 入 工 (b = 


(1-110)' 
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1-24 ”计算 下 面 信号 的 离散 时 间 傅 里 叶 变 换 (LDTFT) ; 
alk] = sinc[k— 1], 
z,[k] = kO1/2)*" ule] 


对 于 下 面 给 出 的 样本 均值 : 
ote = + patel (1-112) 


(a) 当 k 二 2 时, 求 出 系统 的 零点 。 
(b) 试 将 [kj 写成 二 [& 一 1] 的 递归 表达 式 ， 
并 用 数字 滤波 器 的 结构 来 实现 。 

对 下 面 两 个 函数 进行 卷 积 : 

z[k] =a Lk], 

h[k] = ulk]—ulk—N] (1-113) 
其 中 Do. RIB aN BS BE 28 PRK. N = (1, 
2,…} 表示 自然 数 。 
确定 性 协 相 关 函 数 可 由 如 下 计算 : 


yk] = > x[n]JA[& n] (1-114) 


请 计算 习题 1-26 中 信号 的 协 相关 函数 。 
请 证 明 = 变换 的 导数 特性 ， 即 

kx[k] > — zdX(z)/dz 
请 用 柯 西 留 数 定理 ( 见 附录 C) 求 下 面 = 变换 
的 逆 变 换 ， 其 中 收敛 域 为 | =| >1⁄2, 

i 22+1) 

(z 才 1/2)(z 一 1/37 
当 收敛 域 为 1/3 一 | 2|<1/2 时 ， 请 再 次 求 
解 习题 1-29 。 
请 根据 柯 西 留 数 定理 来 计算 下 面 传递 函数 
的 逆 变 换 hlk], 要求 h[k] 是 一 个 左 侧 的 冲 
激 响 应 函数 。 


H(z) = 


(1-111) 


1-27 


1-28 


1:29 


H(z) = (1-115) 





3 
GiyneEcn as 116) 
请 根据 H(z) 44 DTFT 结果 H Go) BU JE Ji 
和 相 频 表达 式 : 
5z 
HY = r e 
对 于 下 面 的 有 限 长 度 序 列 ， 请 再 次 求解 习 
题 1-32, 

alk] = exp(jank) a... [E] (1-118) 
对 连续 时 间 信 号 进行 采样 ' 
1-34 对 连续 时 间 信 和 号 x(1) =exp(—at) u(t) Ë T 
均匀 采样 ， 采 样 周 期 为 T,, 采样 后 的 信号 
为 二 (一 zs(O， 其 中 sb 表示 理想 冲 激 
串 ( 见 式 (1-43))。(a) 计算 X,(o) 的 表达 式 ， 
并 证 明 X,(w) 就 是 XCwo)y 以 整数 倍 2x/T, 重 
复出 现 的 结果 。(b) 推导 采样 信号 rT] 
的 DTFT 结果 X(jw)， 证 明 与 X,(w) 相 比 
RB, Xi HR TRAM . 
如 果 不 采 用 理想 冲 激 串 ， 而 改 用 下 面 的 矩 
形 脉冲 串 对 x(4) 采 样 : 


p(t) = ED rect(t/T, — nT,) 


(1-117) 


1-35 


(1-119) 


` 
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其 中 T,<T,. ps) 48 B nir UNE : 


pt) = >) p,.exp(j2xm/ T.) 


到 一 一 cc 


(1-120) 
其 中 ， 
me [> exp(— j2xmt / T, )dt 
Pm T, T, p jer / s 
(1-121) 


WAH p, 的 闭合 表达 式 ， 并 以 些 给 出 采样 
波形 x, (1) = a(t) p (t) RER R JK E oy 
变换 X, (ow) 。 
1-36 ”对 于 下 面 的 连续 时 间 信 号: 
x(t) = 2cos(200rt) + 4cos(400zt) + 3cos(600z¿) 
(1-122) 
设 用 理想 冲 激 串 s(z) 对 信号 x(?) 进 行 采样 ， 
得 到 的 采样 波形 为 z,(2) 。 请 计算 z, (OF 
里 叶 变 换 结 果 并 绘制 波形 , 采样 率 为 
(a) f,=300Hz; (b) f,= 二 500Hz。 请 考虑 在 
Tati FSR RE. 
1-37 ”理想 重 构 滤 波 器 的 频率 啊 应 为 ， 
T, |e|< W 
0， 其 他 
(1-123) 
其 中 W 是 采样 信号 ce OM RR. 原始 
信和 号 的 傅 里 叶 变 换 由 OX (Cw) = Hw) X, (w) BY 
得 ， 并 假设 满足 奈奈 斯 特 采 样 定 理 ( 太 = 
1/ 五 之 2 到)。 请 用 样本 (xz(CAT))》 和 冲 激 响 
应 At 相 卷 积 的 形式 给 出 ec) AY PEGA SK 
离散 时 间 滤 波 器 
1-38 离散 时 间 系 统 的 传递 函数 为 : 


5(z—25 
Hig) 2 se eS A 
> — Gi—0. 3) O be 0. 6) 


(1-124) 
(a) 计算 并 绘制 出 直接 I 型 和 本 型 滤波 器 结构 ; 
(b) 请 分 别 使 用 部 分 分 式 展开 法 (PFE) 和 一 

阶 向 量 乘 积 ， 计 算 并 绘制 出 平行 与 级 联 


H(w) = T,rect(w/2W) = 


滤波 器 结构 。 

139 对 于 下 面 的 传递 函数 ， 按 照 习 题 1-38 的 要 
求 进行 计算 。 

进一步 阅读 


本 章 最 后 部 分 介绍 的 信号 和 系统 方面 的 知识 ， 可 
以 在 以 下 文献 中 得 到 进一步 探讨 。 

狄 拉 克 6 PR RM: Bracewell (1978), Weisstein 
(2003), 

连续 时 间 线 性 系统 : Lathi(1965), Lathi(2000), 
Oppenheim, Willsky 和 Nawab(1996) 。 

数字 信号 处 理 : Hamming(1983), Oppenheim 和 


202? — (5/6)2+ 1/6) 
(z+1/2)(2? — 1/16) 


(1-125) 


H(z) = 


1-40 ”离散 时 间 滤 波 器 的 冲 激 响应 为 ， 
h[k] = (0. 8)tu[k] + (— 0.4) lu [k — 1] 
(1-126) 
(a) 计算 并 绘制 出 该 滤波 器 的 直接 开 型 结构 。 
(b) 请 以 差分 方程 的 形式 ;根据 输入 rL] 
写 出 输出 yLkj 的 表达 式 ，。 
1-41 对 于 下 面 的 系统 : 
站 的 
(好 一 (1/12)z 一 1/12)(z 十 172) 
(1-127) 
(a) 请 以 差分 方程 的 形式 ， 根 据 输入 zLA] 写 
出 输出 yl kA IA 
(b) 根据 式 (1-68) 的 定义 ， 写 出 状态 空间 现 
实 的 参数 A, bcd}. 
(c) 根 据 式 (1-75) 的 定义 ， 重复 计 算 (b)。 

1-42 ”对 于 式 (1-124) 给 出 的 系统 ,重复 计算 习题 141, 

仿真 作业 

1-43 ”利用 randn 函数 产生 1000 个 样本 ， 并 绘制 
出 高 斯 序列 z[k]。 请 利用 filter 函数 ， 根 据 
下 面 的 传递 函数 对 z[k 进行 滤波 操作 产生 
输出 序列 yLk]， 并 尝试 修改 参数 p. 

2 
H(z) = z—p 

1-44 AF rand 函数 产生 1000 个 样本 ， 并 绘制 出 
均匀 分 布 的 序列 z[k]。 请 用 MATLAB 中 
的 函数 cdi 将 z[kj 转 变 为 一 个 参数 为 4 的 
指数 随机 序列 。 对 于 不 同 取 值 的 参数 *， 请 
比较 输出 序列 的 取 值 分 布 情况 。(a) A=1; 
(b) A=0.1, 

1-45 利用 randn 函数 产生 10 个 高 斯 随机 变量 ， 
通过 sign 函数 将 其 映射 为 士 1， 然 后 利用 
upsample 函数 在 每 个 比特 之 间 插 入 0， 从 而 
得 到 一 个 包含 20 个 符号 的 0 和 士 1 的 序列 。 
用 rectpulse 函数 将 每 个 符号 映射 为 包含 100 
个 样本 的 矩形 函数 ， 然 后 用 stairs 函数 将 这 
些 脉冲 幅度 调整 (PAM) 波 形 绘制 出 来 。 


(1-128) 


Schafer (2009), Mitra (2010), Rabiner 和 Gold 
(1975), Stearns 和 Hush(1990) 。 

状态 空间 的 表示 : Kailath(1980)，Mendel(1995)， 
Tretter(1976) 。 

基于 MATLAB 的 信号 处 理 : Chaparro (2011), 
Childers ( 1997 ), Ingle 和 Proakis ( 2011 ), 
McClellan, Schafer 和 Yoder(1998 ) 。 






































































































































2.1 引言 


本 章 介绍 基于 三 大 公理 的 概率 论 ， 这 与 我 们 对 事件 概率 的 直观 认识 是 相符 的 。 首 先 需 
要 了 解 集合 理论 方面 的 一 些 背 景 知 识 ， 包 括 事件 和 域 的 定义 ， 这 样 就 可 以 确定 和 计算 概 
率 。 随 机 试验 中 最 简单 、 最 常见 的 一 个 例子 可 能 就 是 硬币 投 搓 试验。 尽管 这 个 试验 非常 简 
单 ， 但 我 们 可 以 用 它 来 给 出 随机 事件 的 定义 和 性 质 。 在 这 个 试验 中 只 有 正面 (万 ) 和 反面 
(T) 这 两 种 可 能 的 输出 ， 因 此 这 也 可 以 用 作 数 字 通 信 系 统 的 模型 。 在 数字 通信 系统 中 经 常 
采用 二 元 字母 表 {0,1} (如 果 和 希望 输出 结果 关于 0 对 称 ， 也 可 采用 {一 1,1} )。 尽 管 硬币 投 
掷 试验 看 上 去 没有 什么 内 涵 ， 但 在 许多 实际 应 用 中 却 是 非常 有 用 的 。 

掷 仍 子 试验 也 常常 被 用 来 研究 概率 的 各 种 特性 ， 因 为 这 个 试验 具有 多 种 可 能 的 输出 结 
R (1,2,3,4,5,6} ,因此 它 比 硬币 投掷 试验 要 复杂 一 些 。 尽 管 任何 一 个 多 输出 值 的 试验 都 
是 可 以 的 ,但 是 由 于 大 多 数 读 者 对 据 骨 子 试验 都 很 熟悉 ， 所 以 我 们 选择 这 个 试验 。 这 个 例 
子 与 通信 也 是 有 关联 的 ， 比 如 可 以 作为 脉冲 幅度 调制 (PAM) 的 模型 。 在 PAM 模型 中 ， 通 
过 信道 传输 的 符号 是 从 一 个 有 限 数目 字母 表 中 选取 出 来 的 ， 比 如 4，8，16 等 。 

根据 上 面 介 绍 的 两 个 简单 试验 ， 我们 可 以 很 好 的 描述 构建 概率 空间 的 一 些 重要 原则 ， 
在 这 个 概率 空间 中 试验 的 输出 结果 是 有 限 多 的 。 通 过 深刻 理解 这 些 例子 ,概率 模型 可 以 被 
扩展 到 具有 无 限 输出 结果 的 试验 。 根据 输 出 结果 的 数目 ， 可 以 将 随机 试验 划分 为 三 类 ， 
( j| ) 输 出 结果 的 数量 有 限 ( 比 如 一 次 硬币 投掷 试验 ); Cii ) 输 出 结果 的 数量 无 限 但 是 可 数 
(比如 无 限 进行 下 去 的 硬币 投掷 试验 ); 〈 放 7 输出 结果 为 连续 值 ( 不 可 数 的 ， 比 如 对 温度 的 
测量 ) 。 这 三 种 基本 类 型 的 输出 结果 可 以 组 成 更 多 更 复杂 的 随机 试验 。 

很 显然 ， 也 应 该 分 类 计算 随机 试验 中 事件 的 概率 。( i ) 将 结论 直接 拓展 到 该 类 试验 ; 
(ii ) 需 要 进行 一 些 适 当 的 运算 ， 由 于 输出 结果 是 可 数 的 ， 可 以 建立 一 个 输出 结果 与 自然 数 
REN = 11,2,…} 之 间 的 一 一 映射 。(ii 计算 这 类 试验 的 概率 是 最 复杂 的 ， 因 为 输出 结 
果 是 连续 的 。 任 取 两 个 值 a 二 5， 总 存在 一 个 >00 使 得 a 二 a 十 e 二 bp。 此 时 ， 对 于 输出 结果 
为 无 限 不 可 数 的 情况 ,该 如 何 计 算 概率 值 也 不 其 明了 。 实 际 上 ， 连 续 试验 中 某 一 特定 的 输 
出 结果 的 概率 为 0。 对 于 连续 试验 中 的 事件 ,需要 专门 考虑 该 如 何 定 义 它 的 概率 空间 。 

在 此 我 们 总 结 一 下 该 如 何 计 算 上 面 三 种 随机 试验 的 概率 : 

e 有 限 。 将 感 兴趣 事件 中 输出 结果 的 数目 比 上 样本 空间 中 输出 结果 的 总 数目 ， 比 值 就 

是 该 事件 的 概率 。 此 处 需要 用 到 组 合 数学 中 的 一 些 基 本 规律 。 

e 无 限 可 数 。 对 离散 概率 质量 函数 进行 求 和 来 计算 概率 ， 离 散 概率 质量 函数 可 以 很 好 
地 反映 这 种 随机 试验 的 特性 。 计 算 无 限 可 数 的 问题 ， 需 要 用 到 有 限 求 和 以 及 无 限 求 
和 的 一 些 方法 。 

e 无 限 不 可 数 。 对 连续 概率 密度 函数 进行 积分 来 计算 概率 ， 连 续 概率 密度 函数 可 以 很 好 
地 反映 这 种 随机 试验 的 特性 。 计 算 无 限 不 可 数 的 问题 ， 需 要 用 到 微 积分 的 一 些 方法 。 

解决 无 限 可 数 问题 的 那些 方法 ， 当 然 也 可 以 用 到 有 限 输 出 的 情况 ， 不 过 为 了 简便 一 般 都 
用 简单 求 和 的 方法 。 无 限 可 数 和 无 限 不 可 数 的 问题 处 理 起 来 比较 麻烦 ， 需 要 用 到 一 些 更 加 精 
确 的 特性 ， 比 如 由 概率 质量 函数 (pmf) 和 概率 密度 函数 (pdf) 提 供 的 特性 。 随 后 将 会 学 习 用 微 
积分 的 方法 来 处 理 无 限 可 数 问题 (利用 狄 拉 克 6 函数 )， 但 其 本 质 是 有 限 ( 无 限 ) 求 和 问题 。 
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R 2- 给 出 了 三 种 随机 试验 的 一 些 例子 。 很 显然 ,投掷 两 次 硬币 所 有 可 能 的 输出 结果 
为 : {HH .TT.,HT.TH). 如 果 我 们 想 计算 H 至 少 出 现 过 一 次 的 概率 ,那么 只 需要 将 这 种 
输出 的 次 数 (3 次 ? 除 以 总 的 输出 次 数 。 可知。 至 少 出 现 过 一 次 的 概率 为 0.75， 计 算 公 式 
为 P(H 至 少 出 现 一 次 )=P(HH s& HT $ TH)=0.75, WFR 2-1 中 无 限 可 数 的 例子 ， 
我 们 希望 计算 在 第 三 次 投掷 时 才 出 现 H 的 概率 。 这 个 例子 显然 比 前 面 有 限 输出 的 例子 复 
杂 一 些 ， 我 们 需要 考虑 所 有 类 似 于 TTHT…，TTHH…，TTTH… 这 样 的 序列 。 后 面 将 
会 学 习 用 概率 质量 函数 来 直接 计算 这 个 概率 ， 这 显然 比试 图 统计 所 有 可 能 的 结果 简单 。 同 
样 地 ， 对 于 无 限 不 可 数 的 问题 (连续 试验 ) ， 可 以 用 概率 密度 函数 计算 概率 ， 即 对 感 兴 趣 的 
输出 结果 进行 积分 ， 而 这 些 事 件 定义 在 实数 区 间 尺 上 的 一 段 区 间 内 。 


表 2-1 基本 随机 试验 的 一 些 例 子 





输出 有 限 无 限 
离散 两 次 投掷 硬币 试验 (有 限 ) 重复 硬币 投掷 试验 (无 限 可 数 ) 
连续 无 温度 测量 (不 可 数 ) 


尽管 用 “试验 ”这 个 词语 来 描述 随机 结果 是 如 何 产 生 的 ,但 在 实际 情况 下 “试验 ”这 个 用 
语 有 点 人 造 的 意思 ， 因 为 这 些 事件 都 是 “刚刚 发 生 的 ”( 比 如 温度 的 起 伏 、 放 射 性 衰变 等 )。 
但 是 ， 我 们 用 “试验 ”这 个 词语 并 不 只 是 针对 人 造 试验 (比如 投掷 咒 子 ， 或 者 计算 机 编程 产 
生 随 机 数 )， 也 可 用 于 自然 事件 。 对 于 后 面 这 种 情况 ， 可 以 把 试验 看 做 是 底层 机 理 的 一 种 
模型 产生 的 事件 。 

在 实际 的 物理 世界 中 ， 用 概率 模型 来 描述 一 个 事件 是 非常 有 用 的 ， 因 为 绝 大 部 分 现象 
用 物理 模型 来 准确 描述 都 是 非常 复杂 的 。 比 如 在 第 一 章 中 提 到 的 单 次 硬币 投掷 试验 ， 如 果 
要 对 其 进行 建 模 就 需要 考虑 很 多 因素 ， 比 如 投掷 的 高 度 、 速 度 和 角度、 硬币 着 陆 处 的 材质 
等 等 。 很 显然 ， 用 这 样 的 模型 来 对 这 个 试验 建 模 非 常 复杂 ， 而 且 毫 无 疑问 也 是 不 够 的 。 如 
果 我 们 采用 概率 模型 ， 就 不 需要 准确 的 物理 模型 ， 而 且 还 可 以 对 事件 的 发 生 作出 相对 准确 
的 预测 ， 这 与 我 们 对 随机 特性 的 直观 认识 是 一 致 的 (在 第 1 章 中 提 到 的 某 输出 结果 的 发 生 
频率 )。 概 率 模型 是 非常 有 用 的 ,我 们 可 以 根据 它 来 “ 谈 谈 ? 某 个 即将 发 生 的 事件 的 一 些 性 
质 ， 尽 管 这 个 事件 是 由 诸多 非常 复杂 的 底层 物理 因素 共同 决定 的 。 
2.2 集合 与 样本 空间 

首先 给 出 集合 与 样本 空间 的 定义 ， 大 部 分 的 读者 都 需要 再 复习 一 下 这 方面 的 知识 。 

定义 (集合 (Set)) 对 象 或 者 代表 对 象 的 数字 的 全 体 称 作 集合 。 这 些 对 象 称 作 集合 的 
元 素 或 点 。 

在 许多 情况 下 ， 可 以 用 遍历 的 方法 来 描述 一 个 集合 中 的 所 有 对 象 或 试验 输出 ， 但 是 对 于 
大 集合 这 种 方法 常常 是 不 可 取 的 。 实 际 上 ， 我 们 一 般 使 用 数字 来 代表 集合 中 的 所 有 元 素 ， 比 
如 整数 、 实 数 或 复数 ， 这 样 在 数学 上 处 理 起 来 比较 方便 ， 尤 其 是 在 第 3 章 中 定义 随机 变量 
时 。 例 如 对 于 单 次 硬币 投 搓 试 验 ， 用 数字 来 表示 输出 两 种 结果 将 非常 方便 ， 即 =H 
HOST, 

集合 一 般 采 用 拉丁 字母 表 前 面 那 些 符号 的 大 写 形式 来 表示 ， 请 参见 下 面 的 这 些 例子 

集合 A = {2,4,6,8} 包含 4 个 整数 ， 集 合 B= {…, 一 1,0,1,2,…} 包含 所 有 
整数 。 < 

一 般 用 Zz 来 表示 所 有 整数 组 成 的 集合 ，Z1 包含 所 有 的 正 整数 (包含 0) 。 

GED 信 合 C= 0.5 包含 1 和 5 之 间 的 所 有 实数 (不 包含 1 和 5)， 集合 D = [1,5] 
包含 1 和 5 之 间 的 所 有 实数 (包含 1 和 5)。 < 

一 般 用 叉 来 表示 所 有 实数 组 成 的 集合 ,RR* 包含 所 有 的 正 实数 (包含 0) 。 我 们 也 经 常 使 
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用 士 co 这 个 符号 ， 但 实际 上 它们 并 不 是 实数 。 除 了 在 本 书 的 附录 部 分 ， 复数 的 情况 并 不 经 
常 遇 到 ， 我 们 一 般 用 C 来 表示 所 有 复数 组 成 的 集合 。 

aCA 表示 元 素 a 属于 集合 A; 元 素 5 不 属于 集合 A SN b€ A。 可 以 用 集合 中 元 素 的 
数量 来 对 集合 进行 分 类 。 

定义 (集合 的 基数 (Cardinality)) 集合 的 基数 表示 集合 中 元 素 的 数目 。 用 | 已 | 表示 集 
EE HER, 

一 个 可 数 集 元 素 的 数目 可 以 是 有 限 的 ， 也 可 以 是 无 限 的 ， 前 者 称 作 有 限 集 ( 集 合 的 基 
数 达 |N|)， 后 者 称 作 无 限 可 数 集 (集合 的 基数 = |N |)。 无 限 可 数 集中 的 元 素 与 自然 数 集 
合 N 人 {1,2,…}) 是 一 一 对 应 的 (请 注意 ， 自 然 数 集合 人 不 包括 0) 。 

GRD 2 和 z+ 与 自然 数 集 N 有 相同 的 基数 ， 因 此 它们 都 是 无 限 可 数 的 。 具 有 a/b W 
式 的 数 都 是 有 理 数 ， 其 中 a， bEZ(b 了 关 0)， 有 理 数 集 @ 的 基数 也 是 |N|。 < 

GED 无 理 数 集 是 不 可 数 的 ， 其 基数 大 于 |N|。 类 似 的 ， 实 数 集 凡 以 及 定义 在 及 上 
的 任意 一 段 区 间 都 是 不 可 数 的 ， 基 数 都 大 于 |M|。“ 几 乎 所 有 的 ”无 理 数 都 是 超越 数 ，r 和 
e 是 最 著名 的 无 理 数 。 < 

在 例 2-1 h. ARARE. EA B 是 无 限 不 可 数 的 。 如 果 一 个 无 限 集合 是 不 可 数 的 ， 
那么 它 就 是 一 个 不 可 数 集合 且 基 数 大 于 |N 信 | 。 在 例 2-2 中 集合 C 就 是 不 可 数 的 。 可 数 集合 
也 被 称 作 是 离散 集合 ， 不 可 数 集 合 称 作 连 续集 合 。 

集合 的 这 些 区 别 在 后 面 推导 随机 试验 事件 的 概率 空间 中 用 处 很 大 。 非 常 有 必要 准确 定 
义 随机 试验 的 事件 以 及 相应 的 代数 运算 ， 从 而 给 出 统一 的 概率 测度 。 图 2-1 用 简单 的 例子 
很 好 的 总 结 了 三 种 基本 类 型 的 集合 。 同 时 也 给 出 了 一 个 混合 集合 的 例子 ， 这 个 集合 同时 包 
含 了 离散 和 连续 的 分 量 。 根 据 定义 可 知 混合 集合 是 不 可 数 的 (无 论 它 是 否 包含 离散 分 量 ， 
只 要 集合 中 包含 了 连续 分 量 就 是 不 可 数 的 )， 但 在 第 3 章 讨论 随机 变量 的 时 候 会 发 现 ; 根 
据 是 否 包 含有 限 分 量 或 无 限 不 可 数 的 分 量 ， 可 以 非常 方便 地 对 集合 进行 分 类 。 图 2-1 中 ， 
运算 符 吕 表示 取 并 集 ， 稍 后 将 学 习 集 合 的 有 关 操 作 。 


2's —— — Åe — n— T 
= x 1 | FU pee 2s} 0 1 =1 0 3 
a) b) c) I 


d) 


图 2-1 三 种 基本 类 型 的 集合 ， 以 及 混合 集合 。a) 有 限 A = {一 1,1};b) ARI% B= {1,2,3,4,*…}); 
ce) 无 限 不 可 数 (一 段 区 间 ) C= [0,1]; d) 混 合 型 (一 段 区 间 和 一 个 点 ) D = {— 1} U [0,3] 


我 们 一 般 采用 大 括号 {。) 来 表示 离散 集合 (无 论 是 有 限 集 或 者 无 限 可 数 集 )， 比 如 例 2-1。 但 
是 从 下 面 的 例题 可 知 ， 用 函数 来 表示 连续 集合 的 时 候 采用 大 括号 也 是 非常 方便 的 。 
D 离散 集 ; A= (Z — :z== 0,2,4) = (—1;7,63), ERB: B= (z;=>—1) = 
[一 1,00)。 新 定义 的 集合 C= [r:r E A 或 ZE 及 一 AUB。 ` < 

上 文 的 冒号 (:) 读 作 “ 使 得 ”(such that, 4754 s.t. )。 最 后 一 个 例子 描述 了 取 并 集 的 
操作 (或 者 U): C 是 所 有 xz 组 成 的 集合 ， 在 这 里 x 属于 集合 A， 或 者 属于 集合 B。 可 以 用 
圆 括 号 (。) 和 方 括号 [。] 来 描述 不 可 数 集合 ， 如 例 2-2 和 2-5 所 示 。 接 下 来 将 要 定义 不 可 
数 集合 中 各 种 类 型 的 区 间 。 

定义 (区 间 与 单元 素 集合 ) FEM (a,p) 表示 a 和 之 间 所 有 实数 组 成 的 集合 (ae<0)， 
但 不 包括 边界 点 a deb. ME Bl [a b] k # a 和 6b 之 间 所 有 实数 组 成 的 集合 (a 二 5p)， 包 括 
边界 点 a 和 6b5。 半 开 半 闭 区 间 [a,6b) 与 (a,b] 由 闭 区 间 [a,b|] 得 到 ， 只 不 过 要 排除 一 个 边界 
点 ; [a,b) 不 包括 b,，(a,b] 不 包括 a。 这 些 边 界 点 称 作 单元 素 集 合 ， 它 们 可 以 是 实数 集合 及 
中 的 任意 独立 点 。 

我 们 也 可 以 用 下 面 的 插 号 符号 来 定义 区 间 ( 见 例 2-5): 
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(a,b) {ria < z << b), . CGa,b]£#, (za < z< b) 
Lab & (z; a < z < c. [a b] 2. lra < x= < .5) (2-1) 
因为 区 间 是 一 个 连续 集合 ， 因 此 可 以 用 数学 方法 来 定义 开 区 间 。 如 果 ZE (a,b), 那么 
一 定 存在 一 个 >00, 1 r+ € lab) 以 及 x 一 e € (a,b), Kitz Ba 或 5 有 多 近 ， 总 存 
在 这 么 一 个 s 在 zx € lab) 与 点 a Mb 之 间 。 当 然 ， 这 个 性 质 在 半 开 半 闭 区 间或 闭 区 间 中 
并 不 成 立 ， 因为 可 以 把 边界 点 选 作 >, 

为 了 能 够 详细 描述 事件 及 其 性 质 ， 我 们 在 此 定义 试验 中 的 基本 要 素 。 

定义 (样本 空间 O) 随机 试验 中 所 有 可 能 的 输出 组 成 的 集合 为 样本 空间 Q. HA i) 
也 称 作 底 集 (universe) 或 全 集 (universal set), A w RATAN 中 的 一 个 元 素 ， 该 元 素 也 可 以 
用 下 标 来 进行 区 分 ， 如 ano 

Q={0.1} 可 以 用 来 表示 二 元 数字 通信 系统 可 能 的 符号 ， 也 可 以 用 来 表示 单 次 
硬币 投 搓 试验 (再 三 1，T=0) 组 成 的 样本 空间 。 < 

GED o= (0. =R 表示 一 个 试验 中 无 数 个 非 负 实数 输出 组 成 的 集合 。Q = 
(— So,ce) 表示 所 有 实数 及 组 成 的 集合 。 请 注意 ， 我 们 在 这 里 总 是 用 开 区 间 ( 不 包括 士 05)， 
因为 士 co 不 是 实数 。 < 

对 于 全 集 Q 中 的 一 系列 集合 ， 可 以 对 它们 之 间 的 关系 进行 定义 。 

定义 ( 子 集 ACB) 如 果 A 是 也 的 子 集 ， 那 么 A 中 的 所 有 元 素 都 属于 A， 然 而 已 中 的 
元 素 不 一 定 属于 A。 如 果 ACB， 那 么 A 和 了 忆 有 可 能 是 相同 的 集合 。 

# R A= [0,5], B= [0,10), 那么 ACB。 半 开 半 闭 区 间 (a,5] 是 闭 区 间 [a , 
b| 的 子 集 。 很 显然 ， 任 意 一 个 集合 都 是 自身 的 子 集 : ACA。 如 果 B 中 所 有 的 元 素 都 属于 
A， 这 两 个 集合 是 相等 的 。 < 

定义 (集合 相等 A=B) j A 集合 和 B 集合 的 元 素 相 同 ， 即 ACB 同时 BCA， 那 
么 A 和 B 是 相等 的 。 

因为 样本 空间 0 包含 试验 中 所 有 可 能 的 输出 结果 ,因此 我 们 可 以 描述 一 个 特定 集合 之 
外 的 元 素 。 

定义 ( 补 集 A") ”全集 Q 中 所 有 不 属于 A 的 元 素 组 成 的 集合 就 是 A OAR. Attaga 
ZH aCA, hE TARBA: A= ir: cEA}, 

如 果 Q = [0,100], A = [0,25), 那么 Ac = [25,100]. 如 果 O=R, B = 
(0,00), 那么 B= (—œ,0]. < 

A 的 补 集 也 可 以 写成 A， 在 这 里 我 们 采用 A 的 标记 ， 因 为 后 面 会 用 A 表示 样本 和 矩 ( 比 
如 样本 均值 )。 请 注意 必须 首先 定义 0， 这样 A“ 才 有 意义 。 最 后 介绍 两 个 重要 的 集合 。 

定义 ( 空 集 g 空 集 是 指 没有 任何 元 素 的 集合 。 空 集 有 时 也 称 作 零 集 (null set), RH 
前 面 的 定义 可 知 pE, 

有 的 时 候 也 用 {}) 来 表示 空 集 。 空 集 的 意思 是 “没有 任何 事件 发 生 ”。 从 后 面 的 介绍 可 
知 ， 空 集 的 概念 在 定义 集合 的 代数 运算 时 将 要 用 到 ， 

定义 ( 乔 集 P(Q)) ” 圳 集 包含 样本 空间 Q 中 所 有 的 子 集 ， 同 时 也 包含 空 集 岁 和 样本 空 
间 Q。 同 时 还 可 以 定义 任意 子 集 ECO HRR, APE). 

wR Q = {2,4,6), HA PCA) = (#,Q.2,4,6,12,4),(2,6),(4,6)) 中 包含 8 个 元 
#. MT FRE=(2,4)CO, HH £ P(E) 一 49, 瑟 ,2,4}。 对 于 一 个 无 限 可 数 集合 (比如 自然 数 集 
A)， 它 的 短 集 是 无 限 不 可 数 的 ， 军 集 的 基数 与 实数 集 及 的 相同 。 < 

WR E EARE, AIPE) | EEA RH. 

命题 2-1 如 果 集 合 正 包 含 N 22. PAE 6383653 3&2 | p(E)| =2%, 

证 明 : 可 根据 附录 正中 的 二 项 式 定 理 证 明 这 个 命题 ， 即 
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(es (2-2) 
其 中 
N ] | 
( n ) W (2-3) 


式 (2-3) 是 二 项 式 的 系数 (在 后 续 的 有 限 样本 空间 的 概率 中 还 会 讨论 ) 。 
二 项 式 系数 是 指 从 N 个 元 素 中 选取 含 n 个 元 素 的 子 集 的 数目 ( 即 组 合 )。 对 所 有 可 能 的 n 进 
行 累 加 ， 并 设 式 (2-2) 中 的 z=y=1 可 得 P(E) 中 元 素 的 数目 : 


N N ni 
y= at = 2 (2-4) 
命题 得 证 。 
根据 这 些 集合 的 基本 定义 ， 就 可 以 定义 集合 的 运算 。 
2.3 集合 的 运算 


绝 大 多 数 概率 问题 都 涉及 对 集合 的 运算 。 两 种 最 基本 的 集合 运算 就 是 取 并 集 和 取 交 集 。 
定义 ( 取 并 集 AUB) 两 个 集合 的 并 集 包 含 A 或 B 中 的 所 有 元 素 。 
AW B= (z=:z € A‘'R z € B) (2-5) 
有 的 时 候 也 用 求 和 AHB 来 表示 取 A 和 B 的 并 集 。 
定义 ( 取 交 集 ANB) 两 个 集合 的 交集 的 元 素 既 属于 A 同时 也 属于 B, 
A) B= {zx:x € AMR x € B} (2-6) 
有 时 也 用 乘积 AB 来 表示 取 A Fil B 的 交集 。 
GHD #% A = {1,2,3}, B= (3.4). 那么 AU B = {1,2,3,4}, ANB=(3}, WH 
E =[2,00), F= (—o,5], #4 EUF=R, E N F=([2,5], mH O=R.A=[a,b], B= [a,b], 


那么 AB=A, AUB=B, AB = {a,b} AARE, AB =$, < 
可 Ae SEO EA ET IE GE EE AE ES 可 以 包含 无 限 多 个 集合 。 
=U An B= fa A, (2-7) 


为 方便 起 见 ， 一 般 使 用 AB 来 表示 取 交集 ， 但 我 们 仍然 用 AUB 来 表示 取 并 集 ， 因 为 A+B 
可 能 会 与 事件 概率 相 加 相 混 消 。 
很 显然 ， 取 并 集 和 取 交 集 操作 满足 下 面 的 基本 定理 : 


e 交换 律 
A U E= B: U A, AB = BA (2-8) 

o 结合 律 
(AUB)UC=AUCBUO,. ABC = AB) (2-9) 

分 配 律 
AU (BO) =AUBAUQ, A(B U O =<ABX U (AC) (2-10) 


这 些 运 算 还 满足 德 摩根 定律 ， 该 定律 将 取 交 集 、 取 并 集 和 取 补 集运 算 综合 在 一 一 起 。 
e 德 摩根 定律 
(A U BY = AB, (ABY =A U B (2-11) 

这 些 定理 可 以 用 维 恩 图 法 得 到 验证 ( 维 恩 图 稍 后 将 会 学 习 )， 而 且 它 们 也 可 以 拓展 到 任意 数 
量 的 集合 。 

接 下 来 ,讲解 对 区 间 取 并 集 和 取 交 集运 算 的 一 些 特性 ; 在 连续 样本 空间 上 ， 取 无 限 并 集 和 
交集 并 不 直观 。 对 于 合适 取 值 的 (a,)，{b,),，c 和 d， 对 实 线 空间 及 上 的 区 间 取 并 集 和 取 交 集 有 
如 下 特性 : 

e 对 闭 区 间 取 有 限 并 集 或 交集 得 到 闭 区 间 : 


$2% wm # 论 35 


U lash] = tea), At Lan sy] = Cord] (2-12) 
oR ART RAR TE ç 
Ü tanb) = Cord [Y a = ca (2-13) 
oR k AIT ERAS AEM, 
U (a,,b,) = (c,d) (2-14) 
。 对 闭 区 间 取 无 限 可 数 的 交集 得 到 闭 区 间 ， 
N ta. i = Ps dl (2-15) 


前 面 两 个 特性 是 关于 有 限 数目 的 开 区 间或 闭 区 间 ， 因此 很 容易 得 到 验证 。 后 面 两 个 特 
性 也 可 以 直接 得 到 验证 ,尤其 是 理解 了 我 们 接 下 来 要 讨论 的 这 两 个 不 太 直 观 的 性 质 。 上 面 
介绍 的 四 种 运算 得 到 的 区 间 与 原始 区 间 的 特性 是 相同 的 。 

四 对 闭 区 间 取 无 限 可 数 的 并 集 可 得 到 任意 性 质 的 区 间 ( 闭 、 开 、 半 开 半 闭 ): 


U La, sbn] = (csd) 或 [c,dj 或 [c,d) 或 [c,d] (2-16) 
o 对 开 区 间 取 无 限 可 数 的 交集 可 得 到 任意 性 质 的 区 间 ( 逆 、 开 、 半 开 半 闭 ): 
n (ab, = [c;d] 或 (csd] 或 [ewd) 识 (esd) (2-17) 


上 面 介绍 的 这 两 个 性 质 非常 有 趣 ， 因为 通过 集合 运算 后 得 到 的 区 间 性 质 竟然 与 运算 之 
前 的 区 间 性 质 不 一 样 。 因 此 ， 无 法 对 闭 区 间 取 无 限 并 集 ， 或 者 对 开 区 间 取 无 限 交 集 给 出 任 
何 一 般 性 的 结论 。 下面 的 两 个 例题 将 进一步 描述 这 个 性 质 。 





2-12 W (asb) = (—141/n), 那么 [| (a,b,) = (一 1,0]。 可 以 看 出 所 有 的 开 区 间 


都 包含 0， 它们 的 交集 当然 也 包含 0( 即 使 是 对 无 限 多 个 区 间 取 交集 )， 最 终 的 结果 得 到 的 
是 一 个 半 开 半 闭 区 间 。 < 


如 果 [ab] = [1/n.1), 那么 | ] [ab = (0,1]。 很 显然 每 个 区 间 都 不 包 
会 0， 因 此 它们 的 并 集 也 不 会 包含 0， 即 使 是 无 限 多 个 区 间 取 并 集 。 最 终 得 到 的 是 一 个 半 
FFARR. < 

还 可 以 用 很 多 例题 来 描述 式 (2-16) 和 式 (2-17) 中 其 他 三 种 类 型 的 区 间 。 为 方便 起 
见 ， 表 格 2-2 总 结 了 区 间 的 集合 运算 所 有 可 能 的 结果 。 表 格 的 输入 端 是 各 种 类 型 的 区 
间 ， 这 表明 任意 一 种 类 型 的 区 间 都 可 以 参与 这 些 集合 运算 (尽管 不 一 定 有 必要 ) ， 但 结果 
只 取决 于 第 一 列 的 这 些 原始 区 间 是 如 何 定义 的 。 我 们 在 此 归纳 这 些 结果 是 因为 集合 代数 
必须 是 闭合 的 ， 包 括 取 并 集 和 取 交 集运 算 ， 而 且 v 域 ( 稍 后 会 在 实数 空间 及 定义 ) 不 能 仅 
仅 包含 一 种 类 型 的 区 间 。 


表 2-2 区 间 的 集合 运算 
四 












区 间 类 型 





无 限 可 数 交 集 








[e,.d),[ c, d] 
(c,d],[c, a] 
(c,d),(ce,d],[e.d).[e.d] 
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取 交 集运 算 在 定义 下 面 的 这 个 集合 性 质 时 非常 有 用 。 

定义 ( 互 斥 性 (mutually exclusive)) 如 果 集 合 A 和 已 没有 共同 的 元 素 ， 即 AB= 79. 
那么 A 和 了 召 互 斥 。 集 合 互 斥 也 称 作 不 相交 。 

上 面 的 这 个 定义 可 以 拓展 到 任意 数量 的 集合 {A,}) ， 只 要 满足 任意 两 个 集合 不 相交 即 可 
〈 称 作 两 两 不 相交 ) : A,A 二 $9，m 关 n。 此 外 ， 一 个 样本 空间 可 以 被 划分 为 若干 个 不 相交 的 
集合 ， 这 些 集合 中 的 所 有 元 素 组 成 样本 空间 Q。 这 些 集 合 称 作 样 本 空间 的 划分 (partition)。 

定义 (划分 (partition)) ”如 果 一 系列 不 相交 的 集合 {A,}) 满 足 凯 ,A, 二 QQ， 那么 {A,}) 就 称 
作 样 本 空间 Q 的 划分 。 

一 个 样本 空间 划分 并 不 是 唯一 的 。 当 且 仅 当 样 本 空间 Q 是 有 限 的 ， 其 划分 才 是 有 限 
的 。 如 果 集 合 {A,) 是 相关 的 ,但 仍 满足 U,A, = 二 QQ， 那 么 (A,}) 被 称 作 完全 穷尽 的 
(collectively exhaustive) 。 

用 维 恩 图 可 以 非常 方便 地 描述 集合 间 的 各 种 关系 。 维 恩 图 是 集合 的 一 种 非常 简单 的 图 
形 化 表示 方法 ,一 般 用 圆圈 来 表示 样本 空间 内 的 集合 ， 用 这 些 圆圈 的 重合 程度 来 表示 集合 
间 的 相互 关系 。 图 2-2a 表示 的 是 A 门 B 的 关系 。 请 注意 : 如 果 A 和 B 是 不 相交 的 ， 那 么 
4 站 B=%， 同 时 在 这 个 例子 中 ，A 和 B 之 外 没有 任何 元 素 ， 因 此 AUB==Q。 在 图 2-2b 演 
示 的 是 将 样本 空间 划分 为 三 个 不 相交 的 集合 (A ,A; ,A;}。 这 些 圆圈 没有 任何 相互 重合 的 部 
分 ， 样 本 空间 中 的 所 有 元 素 也 都 包含 在 这 三 个 集合 里 ， 因 此 A UA, UA =R. l 








c) d) 


图 2-2 利用 维 恩 图 来 直观 的 解释 集合 运算 (阴影 区 域 ;。a) AUB; b) 划分: A UA; UA; = 
N; c) 差 : A 一 B; d) HER: A@B 


在 本 节 最 后 ,我 们 再 给 出 两 个 非常 有 用 的 集合 运算 的 定义 。 

定义 ( 差 A 一 B) 集合 A 和 B 的 差 是 指 去 除 A 与 B 的 共同 元 素 后 ，A 中 剩余 元 素 组 
成 的 集合 。 也 可 以 用 前 面 定 义 的 集合 运算 表示 为 A 一 B= 二 AB:,-- 有 的 时 候 也 用 AN B k 
示 两 个 集合 的 差 。 | 

2-2c 用 维 恩 图 来 表示 了 两 个 集合 的 差 。 如 果 A 和 B 是 不 相交 的 ， 那么 A 一 B=A， 
B 一 A 王 B。 差 运算 不 满足 交换 律 ， 即 A 一 B 关 B 一 A( 除 非 A=B， 此 时 A 一 B= 二 办。 两 个 集 
合 的 差 并 不 是 一 个 对 称 运算 。 用 维 恩 图 也 可 以 很 方便 的 验证 A— B=AB: 

EXCA AOB) 除了 不 包含 A 和 B 的 共同 元 素 ， 排 斥 运 算得 到 的 集合 包含 A 和 
B 的 所 有 元 素 ; A 田 B=AUB 一 AB=(A 一 B)U(B 一 A)。 根 据 最 后 这 个 公式 ， 排 斥 运算 
也 称 作 对 称 差 (symmetric difference) 。 

图 2-2d 给 出 了 如 何 用 维 恩 图 来 表示 A @ B 的 例子 。 
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2.4 事件 与 域 


样本 空间 Q 包含 一 个 随机 试验 所 有 可 能 的 输出 结果 。 这 些 输 出 结果 称 作 0Q 的 元 素 ( 或 
点 )。 但 是 在 很 多 情况 下 ， 我们 并 不 关心 某 一 个 输出 结果 ， 只 关心 Q 的 一 个 子 集 ， 即 事件 
(events), 

定义 (事件 ) 一 个 随机 试验 的 事件 E, Z 3846 K B] Q 中 具有 某 种 共同 特性 的 元 素 组 
成 的 子 集 。 

将 两 枚 硬币 同时 投掷 出 去 存 后 至 少 有 -个 
在 四 种 可 能 的 输出 结果 7 这 四 个 元 素 组 成 ”H 的 事件 
的 样本 空间 Q 如 图 2-3 所 示 s。 考虑 至 少 存 
#—# H iñ E4k, WE={HH,HT,TH), 请 两 个 硬币 朝 À 
bh ag oe pisiy teria "PRES tr à 

只 是 三 个 有 共同 特征 的 可 能 的 输出 结果 。 图 2-3 同时 投掷 两 枚 硬币 ， 在 样本 空间 中 的 两 种 





很 显然 ， 巨 是 2 的 一 个 子 集 。 < 基本 事件 
SKE R TASS AAS MH O= (1,2,3,4,5,6}, WA E={1,3,5} 
表示 结果 为 股子 点 数 为 奇数 的 事件 。 a 
在 一 次 试验 中 同时 投 搓 两 个 山子 ， 两 个 鹏 子 点 数 相同 的 事件 为 子 集 A = 
((1,1).42,2y,13,3. 44.4). 15,5.(6,6yy, < 
w Q= 0,1], ®4A=(0,1/2], AR B= [0,1/4] U [5/8,7/8] 为 Q 的 
两 个 事件 。 元 素 o €O 对 应 于 一 个 输出 结果 ， 这 也 是 一 种 特定 类 型 的 事件 。 4 


定义 (基本 事件 (Elementary Event)) 只 中 只 包含 一 个 元 素 的 子 集 称 作 基本 事件 ， 基 
本 事件 等 同 于 一 个 输出 。 

有 的 时 候 ， 基 本 事件 也 被 称 作 原子 事件 (atomic event) ， 但 我 们 将 “原子 ”这 个 名 字 保 
留 给 后 面 将 要 介绍 的 c 域 的 特定 要 素 。 

GRAD ^ 2-15 中 的 子 集 F={1)， 以 及 例 2-16 中 的 子 集 (2,2) 都 是 基本 事件 。 < 

我 们 的 目的 是 为 了 计算 随机 试验 的 事件 的 概率 ， 因 此 需要 合理 定义 事件 使 之 满足 各 种 
代数 定律 ， 并 且 与 样本 概率 空间 保持 一 致 。 为 了 使 事件 的 运算 严密 ， 我 们 在 此 给 出 域 
(field) 的 定义 ， 即 满足 某 种 代数 条 件 的 事件 簇 。 根 据 这 个 定义 ， 我们 就 可 以 把 2 中 特定 
的 子 集 包括 进来 ， 这 对 于 连续 样本 空间 Q 尤为 重要 。 

定义 ( 域 太 ) 域 是 指 一 个 试验 中 事件 的 非 空 集合 ， 并 且 满 足以 下 特性 : 

C] w2wKACF, AAA CF, 


(i) PRA, EF, n= 1,27, N, NAAM, WA 【) A, € Z. 

域 也 称 作 事件 代数 (an algebra of events)。 从 上 面 的 条 件 可 知 以 下 性 质 成 立 : 

(ii) REF. 

(iv) $€ Z, 

(V) 如 果 A,E 大 ,7 一 1,2,…,N, N EARE, WA (y: EF. 

根据 德 摩根 定律 可 以 推导 出 性 质 (VY )。 有 的 时 候 也 把 性 质 ( V ) 作 为 域 的 定义 条 件 之 
一 ,但 实际 上 这 是 没有 必要 的 ， 因 为 性 质 ( i ) 和 (ii ) 就 足够 了 。 

GEID 最 简单 的 (但 是 平凡 的 ) 域 为 下 = {4,0}. < 

GREED 单 次 硬币 投 搓 试 验 的 样本 空间 为 Q = { 有 五 ,T) ,考虑 非 平凡 的 域 天王 {$,Q,H， 
T}。 上 面 有 关 域 的 特性 可 以 在 此 验证 : (i) 昌 EF 过 TE 下， 反之 亦 然 。( 训 ~~( 俐 )HEF，TE 


` 
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F=HUT=Q067, (iwW~(WHEF, TEFS>HNT=þEF, ZF E, Zi 4 A HHR $ 
P(Q)。 除 了 例 2-19 HH h AE R 38. HEART Ti E A $. “ 
在 有 些 试验 中 ， 我 们 首先 考虑 一 个 并 不 包含 域 的 事件 集合 ， 之 后 再 补充 一 些 事 件 产生 
一 个 域 。 我 们 通过 例 2-21 来 描述 这 个 过 程 。 
Ea) 假设 样本 空间 Q = 二 [1,oo0)。, 对 于 任意 的 a 二 1， F= {加 ,0,{[1,a)}}, 那么 大 
包含 所 有 [1,a) 形式 的 半 开 半 闭 区 间 。 很 显然 下 并 不 是 一 个 域 ， 因 为 对 于 任意 的 a>1, 
区 间 Cla) = [ayce) 并 不 在 下 中 。 将 集合 扩展 为 正二 {8,0,{[1,a)},{[6,50)}}, 56>1。 
同样 的 ， 丰 也 不 是 一 个 域 ， 因 为 对 于 任意 的 56<a， 区间 [1,a) N Cb) = [bsa] 并 不 在 
正中。 再 次 将 集合 扩展 为 下 二 (¢,.0.{[1,0)},{[b,00)},{(c.d)}}, 所 有 的 a,bycyd S1. 
此 时 得 的 一 个 域 ， 因 为 所 有 事件 的 有 限 并 集 都 是 下 中 的 事件 ， 也 是 这 些 事 件 的 补 集 。 在 
接 下 来 的 例题 中 ， 我 们 将 利用 无 限 并 集 来 定义 一 个 下 此 时 的 下 并 不 是 o 一 个 域 。 < 
A 对 于 两 次 醒 币 投掷 试验 ， 祥 本 空间 避 = (HH ,TT,HT.,TH), # 2-3 归纳 了 
矫 集 P(Q) 中 的 所 有 元 素 。 在 这 里 ， 性 质 ( i ) 和 (ii) 很 容易 得 到 验证 。 从 这 个 例题 可 以 看 
出 很 有 必要 总 结 一 下 事件 的 性 质 。 表 2-3 的 第 一 行 给 出 了 试验 的 全 部 四 种 输出 结果 ， 它 们 
都 是 基本 事件 ， 该 表格 其 他 行 给 出 的 都 不 是 基本 事件 。 比 如 , (HH, ,HT) 表示 第 一 枚 硬币 
朝向 为 H 的 事件 ; (HH ,TT) 表示 两 枚 硬币 朝向 一 致 的 事件 。 这 两 个 事件 都 不 是 输出 结果 
本 身 ， 它 们 给 出 的 是 具有 共同 特征 的 输出 结果 。 (HH, HT, TH) 表示 输出 结果 中 至 少 有 一 
个 日 的 事件 ， 三 个 输出 的 组 合 就 更 难 描述 了 。 事 件 {HH ,TT,HT} 就 不 太 好 叙述 ， 这 个 
事件 表示 两 枚 硬币 的 朝向 一 致 ， 或 者 第 一 枚 硬币 是 及 第 二 枚 硬币 是 的 情况 。 对 于 这 个 
事件 还 可 以 有 另外 一 种 方法 描述 ， 第 一 枚 硬币 不 是 工 的 输出 ， 以 及 第 二 枚 硬币 不 是 HH 
输出 (因此 将 TH 的 情况 排除 掉 了 )。 因 为 我 们 要 求 天 中 所 有 事件 的 并 集 都 应 该 在 域 中 ， 因 
此 加 也 必须 在 大 中 。 同 样 的 ，%E 大 表示 对 于 大 中 的 任意 一 个 事件 ， 其 补 集 和 交集 都 是 一 臻 
的 。 可 以 看 出 大 中 有 16, 个 元 素 ， 可 知 N 王 4， 畦 集 的 基数 为 |P(O) | 三 24。 < 








R 2-3 Gl 2-22 RF =P (Q) P # z 
基本 事件 (四 种 输出 ) (HH),(TT),(HT),(TH) 
根据 两 种 输出 定义 的 事件 | {HH ,TT},{HH,HT},({HH,TH},{TT,HT},{TT,TH},{HT,TH)} 
根据 三 种 输出 定义 的 事件 | (HH,TT,HT),{HH,.TT,TH),(HH,HT,TH),(TT,HT,TH} 
$50 $= 0,0 = {HH,TT,HT,TH} 


根据 定义 寡 集 P(2) 是 最 大 的 那个 域 。 从 前 面 可 知 ， 域 并 不 是 唯一 的 ， 这 点 从 例 2-23 
也 可 以 看 出 。 一 般 说 来 ， 对 于 有 限 或 无 限 可 数 输出 的 试验 而 言 ， 较 小 的 域 并 没有 太 多 用 
处 。 但 是 对 于 无 限 不 可 数 的 试验 ,我 们 就 非常 有 必要 挑选 出 比 寡 集 小 的 o BR. 
GRD 从 例 2-19 可 知 , (6.0) 是 一 个 域 ， 它 完全 满足 性 质 ( 上 ) 和 (ii )。 很 显然 ， 对 
于 任何 试验 而 言 ， 这 个 平凡 域 几乎 没有 任何 用 处 。 现 考虑 掷 单 不 最 子 的 试验 ， 输 出 结果 为 
{15253545556}. REPOST 2°=64 个 元 素 。 但 是 ， 有 可 能 定义 一 个 更 小 的 ( 非 平凡 
的 ) 域 ， 尽 管 它 的 用 处 没有 宕 集 大 。 考 虑 两 个 事件 :已 = {1,3,5} 和 下 二 {2,4,6), UAR 
J=—(#.OQ.E.F). RER, ER CI) MCIIEZREW,. E E=F €Z, EVF=NEF. R 
管 这 也 是 一 个 有 效 的 域 ， 但 它 实 际 上 是 这 个 试验 的 一 个 简化 版 本 ， 此 时 我 们 只 关心 输出 结 
果 是 奇数 还 是 偶数 ， 并 不 关心 融 子 上 具体 的 点 数 是 多 少 。 实 际 上 ， 通 过 定义 这 么 一 个 域 ， 
这 个 “简化 的 ”试验 其 实 与 单 次 投掷 硬币 试验 是 完全 等 价 的 ， 只 不 过 这 个 硬币 的 五 面 表示 
的 是 “偶数 ”>， 人 T 面 表示 的 是 “奇数 >。 根据 上 面 这 个 较 小 的 域 的 定义 ， 投 搓 山 子 就 可 以 模拟 
投掷 硬币 试验 。 < 

请 再 次 思考 这 个 情况 : 首先 定义 2 的 子 集 ， 然 后 再 产生 一 个 域 包含 这 个 子 集 。 
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GED HT RKRRR TRS, KARETE (1,2) 产生 一 个 域 。{1,2} = (3,4,5, 
6}, {1,2} N {3,455.6} = $, {1,2} U (3.4.5.6) = 0, REREKATFRFAZHRA 
大 一 {g,0,{(1,2},{(3,4,5,6)}}。 很 显然 ， 这 个 域 并 不 能 包含 原始 试验 的 所 有 输出 。 实 际 上 ， 
这 等 同 于 一 个 二 元 试验 ， 比 如 单 次 硬币 投掷 试验 ( 见 例 2-23)。 再 考虑 子 集 {{1,2), (3, 
4}}, 根据 这 个 子 集 产生 的 域 为 下 = 二 (4,Q,11,2),13,4),15,6),13,4,5,6),(1,2,5,6),(1, 
2,3,4)}}。 为 了 能 够 把 单 次 投掷 山子 试验 的 所 有 结果 都 包含 进去 ， 我 们 就 需要 选择 包含 2 = 
64 TK WRK A RIK. < 

Ei — TOA TR Y — r” A, DU RRE, 
后 者 由 窜 集 的 子 集 定义 二 在 后 续 学 习 事 件 的 条 件 概率 的 时 候 ， 我 们 将 用 “好 ” 域 与 “ 差 ” 域 的 
区 别 来 推导 出 概率 论 中 一 个 非常 有 用 的 性 质 。 

接 下 来 ， 我 们 将 根据 原子 的 定义 来 描述 域 下 的 一 个 性 质 ， 人 全集 Q 是 有 限 的 。 

定义 ( 域 的 原子 ) 域 下 中 最 小 的 事件 (除了 办 称 作 原子 。 我 们 用 A 来 表示 原子 的 集合 。 

根据 这 个 定义 可 知 ， 原 子 不 能 通过 下 中 其 他 事件 的 并 集 获 得 ， 而 且 它 们 是 不 相交 的 。 
下 中 其 他 所 有 的 事件 都 是 通过 对 .A 中 的 元 素 进行 集合 运算 得 到 的 (这 样 是 为 了 满足 域 的 条 
件 )。 图 2-4 给 出 了 一 个 简单 的 例子 ， 它 形象 地 表示 了 Q 的 输出 ，.4 中 的 原子 以 及 大 中 事件 
的 相互 关系 。 


Q 10 个 输出 结果 





四 个 原子 ， 两 个 

原子 与 输出 相同 

( 称 作 基本 事件 ) 
另外 两 个 是 
输出 的 并 集 


1U2 1U3 1U4 2U3 2U4 


1U2U3 1U2U4 1U3U4 


2U3U4 1U2U3U4 = Q 





图 2-4 Q 中 的 输出 ，A 中 的 原子 以 及 下 中 事件 的 相互 关系 


对 于 例 2-24 的 第 二 个 域 ， 三 个 原子 分 别 是 A 二 {{1,2),{3,4),{5,6)}, 但 它 
们 并 不 是 Q 的 输出 。 : < 

很 显然 ， 一 个 试验 寡 集 的 原子 就 是 它 的 基本 事件 (输出 )。 如 果 把 域 中 独立 的 输出 都 排 
除 掉 ， 那 么 例 2-24 中 的 原子 都 不 是 基本 事件 。 

定理 2-1 任意 有 限 域 大 中 元 素 的 数目 为 2， 其 中 一 |-4|。 

证 明 : 根据 原子 的 定义 以 及 域 的 要 求 可 知 : 大 的 元 素 一 定 是 原子 的 寡 集 P(4) 。 对 于 一 
个 含 N 个 元 素 的 集合 ， 其 寡 集 的 基数 为 2 ， 因 此 有 N=n, 证 毕 。 

定理 2-1 非常 有 用 ， 因 为 我 们 可 以 据 此 马上 得 出 结论 : 如 果 大 中 元 素 的 数目 不 是 2, 
4，8，16， 那 么 大 一 定 不 是 一 个 域 ， 以 此 类 推 。 请 注意 ， 并 不 需要 OQ 是 离散 的 来 保证 域 是 
有 限 的 ， 在 此 利用 例 2-26 来 进行 讲解 。 

GREED i: 0 = [oo = R+, F = {$,0,[0,c),[c,00)},c>0, RERA RER R H E 
连续 的 ， 域 只 包含 4 个 元 素 ， 其 原子 由 两 个 子 区 间 [0,c) 和 [cvce) 给 出 。 如 果 假 设 原子 为 
[0,c), [c,d) 和 [qd,ce), 并 且 dc>>0。 根 据 上 面 的 定理 可 知 ， 这 个 连续 样本 空间 的 域 包 
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含 8 个 元 素 ， 即 三 = (é#,Q,[0,c-),[c,d),[d,ee),[0,d),[c,eo),[0,c) U [aee))s 实数 域 
及 上 的 这 种 区 间 对 于 连续 样本 空间 非常 重要 ， 我们 在 后 续 介 绍 波 雷 尔 (Borel) 集 合 的 时 候 还 
将 进一步 讨论 。 < 

对 于 有 限 样 本 空间 的 问题 ， 根 据 条 件 (j ) 和 (ii ) 给 出 的 域 的 定义 等 同 于 定义 一 个 概率 
空间 。 但 是 ， 如 果 这 个 样本 空间 是 无 限 的 ， 不 管 它 是 无 限 可 数 还 是 不 可 数 ， 此 时 就 有 必要 
将 域 的 定义 进行 扩展 ， 使 其 包含 一 个 无 限 ( 可 数 ) 事 件 的 并 集 。 

定义 (o- 域 ) go- 域 既 要 满足 条 件 ( | )， 还 要 满足 扩展 的 条 件 (jj )， 即 将 条 件 (ii) 扩 展 
到 无 限 可 数 个 子 集 的 情况 ， 即 


(ü) PRA, EF, n=1,2,, PA UJ A, € Z. 
n=1 


5- 域 也 称 作 o- 代 数 。 
很 显然 ， 上 面 这 个 修改 的 定义 也 将 条 件 (v) 进 行 了 扩展 ， 具 体 为 : 


Cay") 如 果 A, EF, n IPAL 那么 N A, E Fa 
n=1 


根据 例 oy 当 asbsc,d > 1, F = {¢,0, {TT aya {[b,co)}, {(c,d)}} 为 
Q=(1,0) 的 一 个 域 , 但 它 不 是 一 个 o 域 。 假设 将 [c,dj] 写 为 Lc 十 1/n,dj] 的 形式 , nX E 
整数 。 根 据 表 2-2， 以 及 前 面 关 于 不 同类 型 区 间 的 讨论 可 知 : 


oo 


U [c+1/n,d) = (c,d) (2-18) 


n=] 


这 种 类 型 的 区 间 就 不 在 大 中 , 可 

接 下 来 ， 我 们 将 要 考虑 无 限 集合 的 基数 。 

定义 (Beth 数 ) Beth š#/ (3, (Forster，1995) 用 来 表示 各 种 类 型 的 无 限 集合 的 基数 。 

在 数学 中 ， 自 然 数 集合 NM 的 基数 用 3 来 表示 ， 称 作 Beth (beth null), Beth 数 是 按 
照 如 下 的 递归 方式 产生 的 ， 

Ja = 23. (2-19) 

可 以 看 出 ， 上 面 这 个 结论 与 命题 2-1 关于 有 限 集 合 P 的 基数 非常 相似 。 这 样 就 可 知 实 
数 集 及 的 基数 为 Beth 1， 即 3 王 23 ， 这 也 是 自然 数 集 W 的 寡 集 的 大 小 。 类 似 的 ，P( 尺 ) 的 
基数 为 Beth 2 3 。 我 们 并 不 关心 无 限 集合 基数 的 有 关 理 论 ， 也 不 关心 各 种 无 穷 大 的 特性 。 
我 们 只 是 将 Beth 数 作为 一 个 方便 的 工具 来 表示 具有 相同 基数 的 无 限 集合 。 表 2-4 给 出 子 一 
些 例题 ， 有 些 内 容 在 稍 后 会 介绍 。 


表 2-4 Beth 数 与 无 限 集合 的 基数 





TN 
=> N,Q, 2 
a Rs R—Q, P(N), BCR), Cs Ca, OCR. IER 
> PIR); PPCN)) 





WFO=N, HREP At oth. KRE, FRO 的 寡 集 都 是 c- 域 ， 而 且 从 前 
面 的 讨论 易 知 : 任意 Q 的 c- 域 都 满足 2， 办 SFSP(CO)。 

定义 (事件 空间 (Event Space)) ”事件 空间 为 Q 中 组 成 5- 域 大 的 所 有 事件 的 集合 。 事 件 
Z ABEN, F} 

事件 空间 包含 了 满足 o- 域 条 件 的 所 有 事件 。 我 们 将 例 2-21 和 例 2-24 中 如 何 产生 一 个 
域 的 思想 扩展 到 o- 域 。 

定义 (产生 一 个 o 域 ) 对 于 子 集 9CCQQ， 定 义 0- 域 的 集合 如 下 : 

E = {FPO OE} (2-20) 
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通过 子 集 9 产生 的 - 域 可 由 已 中 所 有 事件 取 交 集 得 到 ， 记 作 o (g). 
因为 Q 中 的 每 个 o- 域 都 包含 9， 因 此 ol(9) 必 然 是 包含 9 的 最 小 o- 域 。 如 果 0G 本 身 就 是 一 
个 0 域 ， 那么 o(G)=G, 


GED 试 考 虑 有 限 样 木 空间 O 一 (一 1,0,1)。 下 面 给 出 所 有 可 能 的 o- 域 : 


Fi = (9,50; —1,0,1,{—1,0} ,.{—1,1},{0,1}}, (2-21) 

F= {4,Q, —1,{0,1}}, (2-22) 

F3= {#,2,0,{—1,1}} (2-23) 

大 一 {$:0,1,{—1,0}}, (2-24) 

Fs= {$50} (2-25) 

mRG=2, BL Í| (g8)=7J, 17, ANAF: ANF NF: =F: 为 一 个 平凡 oR. WRG=(1}, 
那么 oO)=F NF =F. # RG= (0, Ly 那么 a(G) =F, HAREPAN). < 


我 们 感 兴趣 的 是 那些 可 测 的 o- 域 ， APERE A R RK ITT E a h HEE O, F) 
的 概率 。 对 于 有 限 和 无 限 可 数 的 试验 ， 没 有 必要 考虑 比 寡 集 P(2) 小 的 oS. 但 是 对 于 连 
SMEARS MA. FER MBE AKT. RRMA Vitali 集合 (此 时 Q 二 [0，1]) 就 是 一 
个 子 集 不 可 测 的 例子 。 对 于 绝 大 多 数 的 实际 问题 和 应 用 而 言 ， 用 区 间 就 可 以 很 方便 的 表示 
连续 试验 。 从 第 3 章 可 知 ， 样 本 空间 都 映射 成 为 了 实 线 集合 及 上 的 随机 变量 ， 因 此 我 们 对 
RR 上 一 种 特定 类 型 的 o 域 感 兴趣 ， 称 作 波 雷 尔 (Borel)o 域 。 

定义 ( 波 雷 尔 o- 域 ) 实 线 上 最 小 的 o 域 称 作 波 雷 尔 o- 域 B( 及 )， 它 由 0 二 及 上 所 有 的 开 
区 间 生 成 。B( 及 ) 的 元 素 称 作 波 雷 尔 集合 。 

利用 及 上 的 一 个 开 区 间 Cab) 来 产生 波 雷 尔 o- 域 。 从 下 面 的 表达 式 可 知 ， 所 有 的 孤立 
点 (单元 素 集合 ) 都 被 包含 进去 了 : 


a = lim(a — 1/n,a + 1/n) (2-26) 
这 样 也 可 以 把 所 有 的 半 开 半 闭 区 间 也 包括 进来 : 
Cash] = (a,b) Ub, La,by = (a,b) Ua (2-27) 


因为 (一 ce 6] = (b,00)° UR [a ,co) = (— 90, 2)*, 因此 可 知 所 有 的 闭 区 间 也 包含 进来 
T: 
[a,b] = Las) N — eə,5] (2-28) 
因此 可 知 ，B(RR) 包 含 了 及 上 所 有 类 型 的 区 间 ， 同 时 也 包含 了 全 部 的 独立 点 。 想 找 出 那 
些 位 于 B(RR) 之 外 的 及 的 子 集 并 不 是 一 件 容 易 的 事 ， 在 后 面 讨论 测度 理论 的 时 候 ， 我 们 给 出 
这 种 子 集 的 一 个 例子 。 由 于 实际 应 用 场合 并 不 会 出 现 这 种 子 集 ， 因 此 我 们 对 其 并 不 关心 。 
在 第 4 章 介绍 随机 向 量 的 时 候 ， 我 们 还 将 考虑 NASR 上 的 c- 域 ， 因 此 需要 将 前 面 的 定义 
扩展 到 RN 子 集中 最 小 的 o- 域 ， 记 作 B(R*N)， 并 将 其 定义 为 R* EWA. MABRY 上 
HR ER EENS). ' 
加 PE 波 雷 尔 集 合 的 例子 包括 ; OAE [ab], GDF EE (a,b), Cü) 有理数 集 Q， 
(jy) 无 理 数 集 及 一 QQ，(V) [1,2,3,4,5,6], (Vi) 后 面 将 要 介绍 的 康 托 尔 集 。 < 


25 随机 试验 的 总 结 


在 此 有 必要 将 随机 试验 的 有 关 性 质 进 行 总 结 归纳 ， 这 样 我 们 就 可 以 进行 概率 测度 : 
e 一 个 随机 试验 所 有 输出 结果 的 集合 为 样本 空间 Q。 根 据 试验 的 不 同类 型 ， 它 可 能 包 
含有 限 、 无 限 可 数 或 无 限 不 可 数 的 元 素 。 

e 一 个 随机 试验 的 事件 是 样本 空间 Q 的 子 集 ， 它 包含 一 个 或 多 个 输出 ， 并 具有 某 些 共同 
的 特性 。 我 们 的 目的 是 计算 事件 的 概率 测度 ， 因 此 我 们 并 不 愿意 包含 Q 所 有 的 子 集 。 
e o 域 下 是 0 子 集 的 集合 ， 并 满足 代数 条 件 (i)，( 诈 )，( 诈 )，(iV) 和 (Cv)。 可 以 通过 0 
的 一 些 子 集 来 构造 一 个 e 域 ， 然 后 将 子 集 的 数量 进行 扩展 直到 满足 条 件 (1 2) 和 (ii )。 
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e 如 果品 是 有 限 或 无 限 可 数 的 ， 那 么 通过 需 集 P(2) 描 述 的 所 有 子 集中 一 定 包 含 一 个 
对 于 该 试验 有 用 的 o- 域 。 
e WR O 是 无 限 不 可 数 的 ， 那么 波 雷 尔 o- 域 B( 及 ) 是 实 线 上 一 个 有 用 的 oth, CMA 
了 所 有 类 型 的 区 间 ( 包 括 开 区 间 ， 半 开 半 闭 区 间 ， 闭 区 间 ) 以 及 独立 点 。 
根据 样本 空间 Q 和 事件 空间 {Q， 开 } 的 定义 ,我 们 可 以 得 到 一 组 事件 的 集合 ， 该 集合 
满足 (ii') 中 的 县 加 性 质 。 至 此 我 们 可 以 给 出 概率 空间 的 定义 ， 记 作 {Q， 下 ，P}。 首 先 我 
们 简要 介绍 一 下 测度 理论 ， 其 中 概率 测度 是 一 个 特别 的 例子 。 


2.6 测度 理论 


测度 理论 关心 的 是 如 何 给 样本 空间 Q 中 的 子 集 赋 予 一 个 “尺寸 >， 我 们 称 之 为 测度 。 根 
据 问 题 的 不 同 ， 这 个 尺寸 有 可 能 是 长 度 、 面 积 或 者 欧式 空间 的 体积 ， 通 过 后 面 的 定义 可 知 
这 些 统称 工 (Lebesgue， 勒 贝 格 ) 测 度 。 在 本 书 中 ， 我 们 对 如 何 给 2 中 那些 组 成 c- 域 大 的 子 
集 赋 予 概率 测度 感 兴趣 。 对 于 不 可 数 的 试验 ， 用 类 似 的 方法 不 可 能 给 P( 丸 ) 赋 予 概 率 。2 三 
及 的 寡 集 太 大 了 ( 它 的 基数 为 Beth 2 Ds)， 所 以 此 时 我 们 选择 用 下 来 表示 B(R)， 它 是 实 线 上 
的 波 雷 尔 o- 域 ， 基 数 为 Beth 1 3; (与 及 相同 ) 。 在 许多 实际 应 用 场合 波 雷 尔 o- 域 是 非常 有 用 
的 ， 因 为 我 们 比较 喜欢 用 实 线 上 的 区 间 来 描述 事件 。 

用 符号 w 来 表示 事件 空间 中 的 测度 ， 用 42， 大 ，A} 来 表示 测度 空间 。 (请 注意 不 要 将 
这 里 的 与 第 5 章 的 随机 变量 均值 相 混 消 。) 

定义 (测度 ) 测度 是 指 事件 { 瑟 ,)E 大 到 及 的 一 种 映射 ， 并 满足 如 下 性 质 : 

o 对 于 所 有 的 事件 E,CF, WA 1( 正 ,) 之 0。 

e 1($)=0。 

@ 对 于 所 有 的 互 斥 事件 ， 即 当 nám W E, YE, = $, 


co 


ul U E,) = até.) (2-29) 
n=1 


在 后 面 介 绍 概率 测度 的 时 候 也 有 类 似 的 性 质 ， 称 之 为 概率 三 原则 (the three axioms of 
Probability) 。 


如 果 事 件 空间 {2， 矿 } 中 的 事件 EE 大 都 满足 1(E,) 二 0， 则 为 平凡 测度 。 <4 
DEED 对 于 0Q= 二 及 和 下 二 B(R)， 标 准 高 斯 测度 为 : 


nu(E) = Fal ee 2 De (2-30) 
XAF E 0 3 3 46 P(E), 下 是 零 均值 ， 方差 为 1 的 标准 高 斯 随机 变量 。 < 
ATF, Z) 34 已 ， 其 狄 拉克 测度 为 : 
À. 1 w E E S 
amay viel (2-31) 


容易 验证 AEEA, ALEZO 中 的 几乎 确定 性 事件 (见习 题 2-23) 。 < 

下 面 两 个 重要 的 测度 ， 在 后 面 将 会 用 到 。 

定义 (计数 测度 (Counting Measure)) 设 只 为 一 个 可 数 的 样本 空间 ，P(O) 是 寡 集 。 任 
意 一 个 集合 EEP(O)， 其 计数 测度 为 : 

| 五 |， EXARFE 
C(E) = sp。 ide (2-32) 

|E| 表 示 和 集合 E 的 基数 。 在 上 面 这 个 定义 中 ， 无 穷 大 其 实 就 是 前 面 提 到 的 Beth $, th 
是 无 限 不 可 数 集合 的 大 小 。 

很 显然 ， 测 度 只 对 有 限 集 合 才 有 意义 ， 对 于 无 限 集合 (比如 及 上 的 区 间 ) 测 度 不 能 提供 
任何 信息 。 对 于 后 一 种 情况 ， 我 们 将 考虑 工 测度 。 
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定义 (及 上 的 勒 贝 格 测度 ) ”对 于 区 间 (ab) € BR), 其 L 测度 定义 如 下 : 
L([a,b]) &b—a (2-33) 
该 定义 表示 区 间 的 长 度 。 根 据 定义 ; 单个 点 (单元 素 集 合 ) 的 L 测度 为 0， 因 此 可 得 
L((a,b)) =L((a,b]J).= L([a,b)) = b—a, 
为 了 将 天 测度 的 定义 扩展 N 维 欧式 空间 ， 在 此 给 出 笛 卡 儿 乘 积 的 定义 。 
定义 ( 笠 卡 儿 乘 积 (Cartesian product) 一 组 区 间 集 合 ([a, b, ]) n = 1, N 656 8 + 
儿 乘 积 定 义 如 下 : 


E= ((x, 7° 9 DH) ri C [ay 1b, | = yan E [asa bwa |} (2-34) 
已 对 应 于 一 个 有 序 N 元 组 ， 可 以 用 下 面 的 乘积 符号 来 表示 : 
= N 
E =[a1.b,]X ++ X[ayebv] = |] [ad] (2-35) 
n=l 


RE i] @ + JU 38 £, x TR 的 
EJ. #RNS(N2>2) E Z 38 33 , 

URED 对 于 区 间 [1.3] # [2.4]. 
第 卡 儿 乘积 E = {Cay 9X2) sx, € [2,4], 
z, E[1,3]) BR? 上 的 一 个 和 矩形， 该 区 域 
由 横 坐 标 在 [2， 4] 之 间 所 有 点 与 纵 坐 标 
在 [1,3] 之 间 所 有 点 的 交集 构成 ， 如 
图 2-5 所 示 。 < 

对 于 实 线 集合 及 ,， 我 们 可 以 写成 
看 , 五 的 工 测 度 对 应 着 一 个 矩形 区 域 的 面积 ， 以 及 一 个 三 维 空间 的 体积 。 对 于 N 维 空间 ， 
我 们 需要 给 出 如 下 的 定义 。 


定义 (RN 上 的 勒 贝 格 测度 ) G+) k E= [|La] € BR 的 上 测度 定义 为 : 


E 表 示 两 个 重 登 区 域 的 
交汇 处 ， 可 以 在 每 个 
方向 上 延伸 到 无 穷 远 





N 
LIE) 2 [| hn —a,) (2-36) 
n=1 


该 定义 表示 超 矩 形 (hyper-rectangle) RY 的 超 体积 (hyper-volume) 。 

FEET) 例 2-33 中 的 第 卡 儿 乘积 L([1,3]X[2,4]) = 二 4 表示 的 是 一 个 矩形 区 域 的 面 
积 ,， m L([8.10]x [1,2] x [4,8]) = 8 表示 的 是 一 个 立方 体 的 体积 。 < 

在 例 2-35 中 介绍 的 康 托 尔 集合 非常 有 趣 ， 一 是 因为 该 集合 的 构建 方式 ， 另 外 是 因为 
它 的 工 测度 为 0。 

( 康 托 尔 集 合 ) 在 区 间 [0,1] 上 去 除 一 个 如 下 所 示 的 无 限 开 区 间 ， 可 得 到 康 托 
尔 集合 C(Kingman and Taylor, 1966). 


| 


ç = [0,,1]—U U (3n+1)/3",(3n+ 2)/3") (2-37) < 


设 C.,=[0, 1], C, 代表 连续 的 集合 ，mzEN。 将 C, 等 分 为 三 部 分 ， 去 除 中 间 的 那 段 
开 区 间 ， 可 得 C 为 : 
C = [0,1]— (1/3,2/3) = [0,1/3] U [2/3,1] (2-38) 
此 时 可 以 看 出 区 间 [0,1] 被 等 分 成 了 三 部 分 ， 中 间 那 段 开 区 间 被 移 除了 。 对 C, 中 剩 下 的 
每 段 闭 区 间 都 进行 如 此 操作 ， 可 得 : 
C, = C, — (1/9,2/9) — (7/9,8/9) = [1,1/9] U [2/9,1/3] U [2/3,7/9] U [8/9,1] 
(2-39) 
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图 2-6 给 出 了 每 个 Cy 的 求解 过 程 。 从 式 (2-37) 可 以 看 出 ， 每 个 连续 集合 都 是 通过 上 
一 个 集合 求 出 的 ， 即 首先 将 区 间 除 以 

3， 然 后 再 将 这 个 缩放 后 的 区 间 平移 上 
2/3， 最 后 对 这 两 部 分 取 并 集 。 下 面 的 “c， 
这 个 公式 刻画 了 整个 处 理 流程 ; 





实 线 表 示 闭 区 间 
A= [Ds /aly [C+ Yr 12 ) 
(2-40) ĉi en 
这 个 过 程 就 是 不 停 地 将 区 间 中 间 Co 
1/3 的 部 分 移 除 ， 一 直 进 行 下 去 就 可 0 13 Pa A 
以 得 到 C。 需 要 注意 的 是 在 式 (2-37) A26 m=1, 2, 2 C, 的 序列 ， 当 molt EAR 
中 移 除 的 都 是 开 区 间 ， 而 利用 下 面 的 托 尔 集合 C 
这 个 取 交 集 的 方法 也 可 以 得 到 康 托 尔 集合 ， 
CE 门 忌 (2-41) 
康 托 尔 集合 具有 如 下 有 趣 的 性 质 : 
e 根据 式 (2-37) 可 知 ， 从 区 间 [0,1] 中 移 除 的 每 个 开 区 间 的 长 度 为 : 
(3n + 2)/3" — (3n +1)/3" = 1/3" (2-42) 


1X PEE ((3n+1)/3", (8n+2)/3) 09 LWE., MFR m, A 2" :个 开 区 间 被 移 除 。 
通过 变量 替换 ， 以 及 根据 等 比 数列 求 和 ( 见 附录 下) ， 整 个 被 移 除 的 区 间 长 度 为 : 


区 (2-43) 
一 1 


这 个 结论 非常 令 人 惊讶 ， 因 为 区 间 [0,1] 的 长 度 ( 工 长 度 ) 也 是 1。 这 是 因为 在 构建 
{Cn) 的 每 次 迭代 过 程 中 ， 中 间 区 间 的 端点 并 没有 移 除 ， 而 实际 上 ， 无 论 一 个 区 间 的 
端点 是 否 被 包括 在 内 ， 它 的 工 测 度 都 是 相同 的 。 

e 根据 前 面 的 结论 可 知 ，C 的 工 测度 为 0。 

e C 是 不 可 数 的 ， 它 的 基数 与 同 区 间 (0,1) 相同 (与 及 的 基数 相同 ， 记 作 Beth] 3; ) 。 

eC 是 分 形 的 ， 因 为 在 每 次 迭代 后 ， 构 建 出 的 Cu+i 都 是 前 一 个 C, 的 压缩 版 。 在 图 2-6 

中 ,前面 几 次 迭代 中 也 有 相同 的 特性 。 

在 后 面 的 例 3-10 中 ， 将 介绍 如 何 根 据 康 托 尔 集合 定义 康 托 尔 函数 。 

L 测度 在 第 3 章 中 非常 有 用 ， 比 如 将 Q 中 的 事件 映射 到 实 线 及 上 得 到 随机 变量 ,或 者 
映射 到 RN 上 得 到 随机 向 量 。 因 为 o 中 的 事件 到 随机 变量 的 映射 具有 明确 的 定义 (可 测 
的 )， 这 些 事件 的 概率 测度 就 会 以 一 种 连续 的 方式 对 应 于 及 区 间 上 的 事件 (以 及 RR” 上 的 超 
和 矩形) 。 

最 后 ， 我 们 给 出 样本 空间 Q 上 事件 概率 测度 的 定义 。 

定义 (概率 测度 P) 事件 空间 {2， 大 )} 的 概率 测度 已 是 一 个 函数 ， 该 函数 将 天 中 的 事件 映射 
为 区 间 [0,1] 中 的 实数 ， 该 定义 满足 概率 论 三 大 公理 。 得 到 的 概率 室 间 记 作 {Q， 丰 ，P)。 

需要 特意 强调 的 是 ，P 是 为 e- 域 大 中 的 事件 定义 的 ， 而 下 不 一 定 包含 Q 中 所 有 的 子 集 。 当 
然 这 就 是 构建 天 的 目的 ， 此 时 概率 测度 就 可 以 与 事件 对 应 上 ,并且 满足 概率 三 大 公理 。 与 任意 
一 种 测度 类 似 ， 概 率 测 度 必 须 满足 可 数 的 到 加 条 件 才 显 得 有 意义 ， 当 对 大 中 事件 进行 集合 运算 
时 ， 才 能 与 我 们 关于 概率 计算 的 直观 感受 相符 合 。 


2.7 概率 公理 


概率 空间 {Q， 下 ，P} 的 概率 测度 P 满足 下 面 的 公理 : 
公理 2-1 P(E)>0. 
公理 2-2 P(Q)=1. 
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公理 2-3 4 E, NE =$ B 2n=m BF, HF En) CF: 


P( |}. Ee) Sp En) (2-44) 
上 面 的 这 三 大 概率 公理 与 我 们 的 直观 感受 是 相符 的 ， 也 与 第 1 章 中 关于 概率 的 频率 解 
释 一 致 。 公 理 2-1 表明 概率 测度 是 非 负 的 。 公 理 2-2 表明 大 中 某 些 事件 的 发 生 概 率 是 1: 
“必然 发 生 的 事件 >。 根据 公理 2-1 和 2-2， 大 中 任意 事件 的 概率 一 定位 于 区 间 [0.1] 之 间 ， 
任何 事件 的 概率 不 可 能 超过 1。 是 一 般 测 度 jy 的 一 个 特例 ，/( 恩 一 0 改 用 PCGO2) 王 1 表 
示 。 这 个 区 别 就 是 公理 2-2 中 P E [0,1] 的 原因 ， 所 有 的 测度 ¿ 必须 是 非 负 的 ， 但 并 不 要 
求 不 大 于 1， 而 概率 测度 就 有 这 个 限制 。 
P(E)=0 并 不 表示 事件 已 不 会 发 生 ， 一 个 事件 的 概率 为 0 与 不 可 能 事件 是 有 区 别 的 ， 
前 者 是 可 以 发 生 的 ， 而 后 在 是 绝对 不 会 发 生 的 。 同 样 的 ，P(E) 二 1 并 不 意味 着 事件 下 一 
定 会 发 生 ， 一 个 事件 的 概率 为 1 与 必然 事件 也 是 有 区 别 的 。 概 率 为 1 的 事件 称 作 “几乎 确 
定性 事件 (almost sure event)”。 下 面 这 个 例题 就 将 介绍 它们 的 区 别 。 
E 对 于 一 个 随机 事件 ， 它 的 可 能 输出 服从 QQ 二 [一 1,1] 上 的 均匀 分 布 。 在 后 面 
的 讨论 可 知 ， 对 于 连续 样本 空间 ， 该 区 间 上 任意 一 个 点 的 概率 为 0， 比 如 P(E)=0, # 
是 ， 事 件 E=0 是 有 可 能 发 生 的 。 区 间 [一 1,1] 之 外 的 就 是 不 可 能 事件 ， 它 们 发 生 的 概率 
为 0， 并 且 是 绝对 不 会 发 生 的 。 空 集 多 也 是 不 可 能 发 生 的 ， 因 为 一 定 有 事件 发 生 在 区 间 
[一 1,1] 之 内 。 类 似 的 , PE = [一 1,1)) = 1 并 不 意味 着 这 个 事件 一 定 会 发 生 ， 因 为 事件 
EE 二 1 也 是 有 可 能 发 生 的 (尽管 事件 巨 发 生 的 概率 为 0)。 事 件 下 二 [一 1,1) 是 几乎 肯定 发 生 
的 。 另 外 一 方面 事件 下 二 [一 1,1] 是 一 个 确定 性 事件 ， 该 区 间 上 的 某 个 子 集 是 肯定 会 发 
生 的 ， 因 为 不 可 能 出 现 该 区 间 之 外 的 数字 。 < 
公理 2-3 是 这 三 大 公理 中 最 重要 的 ， 它 确保 了 概率 测度 的 一 致 性 ， 它 也 指出 了 如 何 将 多 
个 事件 的 概率 整合 在 一 起 。 如 果 这 些 事件 是 对 偶 互 斥 的 (不 相交 )， 那 么 它们 并 集 的 概率 就 等 
于 它们 各 自 概率 之 和 。 这 也 适用 于 无 限 多 事件 的 并 集 ， 对 于 c- 域 中 的 无 限 可 数 和 不 可 数 试验 
是 非常 需要 的 。 在 下 面 的 章节 ,我 们 将 介绍 概率 论 中 的 一 些 基 本 结论 ， 包括 条 件 概率 
(conditional probability) 和 独立 事件 (independent event) 这 两 个 重要 知识 点 。 后 面 我 们 还 将 介绍 如 
何 计算 离散 和 连续 样本 空间 中 的 概率 ， 这 部 分 内 容 为 第 3 章 中 将 要 介绍 的 随机 变量 做 准备 。 
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下 面 的 这 些 命题 来 自 于 概率 论 三 大 公理 。 通 过 它们 我 们 可 以 了 解 如 何以 集合 不 相交 的 
观点 来 重新 组 织 问题 ， 这 些 结论 通过 公理 2-3 也 是 可 以 推导 出 的 。 
命题 2-2， P(éy=0. 
证 明 : AAW QU =Q 以 及 QA 门 $=$， 可 得 : 
P(Q) = P(Q U $) = P(A) + PY) i (2-45) 
可 知 1=1+P($), P(d)=0. 
命题 2-3 对 于 事件 EEQ，, P(E')==1 一 P(E)， 
TERA: 因为 0 二 EUE: DK ED E =$, Ws: 
P(Q) = P(E + E) = P(E‘) + P(E) = 1 (2-46) 
上 式 可 以 改写 为 P(E')=1 一 P(E)， 
命题 2-4 如 果 ECF， 那 么 P(E)<P¿(F), 
证 明 : 因为 下 包含 户 , F 就 可 以 用 EE 来 进行 划分 : 


F = E U EF (2-47) 
由 于 所 有 的 概率 值 都 是 非 负 的 ， 因 此 可 得 : 
P(F) = P(E) + PREF > P(E) (2-48) 


命题 2-5 是 本 节 最 重要 的 内 容 ， 它 可 以 看 做 是 公理 2-3 关于 不 相交 事件 的 一 个 拓展 。 
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命题 2-5 ”对 于 事件 正 ，FEO， 有 下 面 结论 成 立 : 
P(E U F) = P(E) + P(F) — P(EF) (2-49) 
证 明 : 尽管 事件 EE 和 下 可 能 是 不 相交 的 ， 但 可 以 将 EU F 写成 三 个 互 斥 事件 并 集 的 
形式 : 
E U F = EF: U EF U EF (2-50) 
这 个 关系 如 图 2-7 所 示 。 根 据 概率 论 的 公 ET 
JH 2-3 可 知 : 
P(E U F) = P(EF:) + P(E‘F) + P(EF) EF°n EF= @ 
(2-51) EF°n ECF= 中 me 
将 事件 EE 和 下 写成 不 相交 事件 并 集 的 形 EFE F= @ (= j 
st: E= EF U EF, F=EFUEF, 由 此 ree 2 a l 
可 得 ， 图 2-7 将 EUF 拆 分 成 三 个 不 相交 的 事件 
P(E) = P(EF:) + P(EF), P(F) = P(E‘'F) + P(EF) (2-52) 
将 上 面 的 结论 代入 式 (2-51) 可 得 : 
P(E U F) = P(E) — P(EF) + P(F) — P(EF) + P(EF) = P(E) + P(F) — P(EF) 
(2-53) 


EF°U EFUE°F=EuF| ` 





命题 得 证 。 
现 考虑 单 次 硬币 投 搓 试 验 。 设 事件 E= (83), F=(K3<3), RER 


HHARHMREE, AH PCE)=1/2, P(F)=1/3, WR PCEF)=1/6, 根据 式 (2-49) 
可 得 : 


P(E U F) = 1/2+2/3—1/6= 2/3 (2-54) 

图 2-8 用 维 思 图 的 形式 很 清晰 的 解释 了 这 个 结论 。 < 
E 表 示 输 出 值 是 偶数 
F 表 示 输 出 值 小 于 3 


EN FF 表示 输出 值 是 偶数 





并 且 小 于 3， 即 EN F={2} 


图 2-8 例 2-37 中 ,利用 维 恩 图 来 计算 事件 的 概率 ， 这 些 事 件 不 一 定 是 不 相交 的 


2.9 条 件 概率 


在 许多 场合 ， 随 机 事件 中 有 些 事件 的 信息 是 已 知 的 ， 而 且 该 部 分 事件 可 以 影响 到 其 他 
事件 发 生 的 概率 。 可 以 将 这 部 分 先 验 信息 用 于 计算 事件 的 概率 。 对 于 概率 空间 (2, 丰 ,P) 
的 事件 A 和 B， 如 果 已 知事 件 B 已 经 发 生 ， 那 么 事件 A 发生 的 概率 往往 与 事件 B 未 知 的 
情况 不 同 (尽管 这 不 是 绝对 的 )。 常 用 符号 P(A1B) 来 表示 B 已 知 时 A 的 概率 (也 称 作 已 知 
事件 B 为 真 ;。 接 下 来 ， 我们 用 一 个 简单 例题 来 介绍 如 何 计算 条 件 概率 。 

对 于 投 括 两 枚 硬币 的 试验 ， 设 事件 A 表示 两 枚 硬币 都 是 正面 朝 上 ,事件 B 
表示 至 少 有 一 枚 硬币 正面 朝 上 。 这 个 例子 就 可 以 很 轻松 的 解释 条 件 事件 (比如 ， 可 以 获得 
额外 的 信息 ) 是 如 何 将 样本 空间 从 四 个 元 素 压缩 到 三 个 元 素 。 因 为 事件 TT 被 排除 了 ， 事 
件 BB 使 得 “新 ”的 样本 空间 是 (HH ,HT,TH}, 因此 我 们 可 以 马上 计算 出 P(A|B)=1/3. 
我 们 同样 也 可 以 计算 P(B|1A)， 尽 管 这 个 概率 没有 什么 意义 。 此 时 压缩 后 的 样本 空间 仅仅 
AIHH}, 很 显然 事件 B( 至 少 有 一 枚 硬币 正面 朝 上 ) 始 终 为 真 ， 因 此 可 得 P(B|A)=1, < 

P(A1B) 就 是 一 个 条 件 概率 。 在 例 2-38 中 ,根据 压缩 后 的 样本 空间 使 得 条 件 概率 可 以 
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比较 容易 地 计算 出 来 ， 但 在 一 般 情况 下 我 们 使 用 基于 事件 交集 的 定义 。 
定义 (条 件 概 率 ) 事件 BB 发 生 时 事件 A 的 条 件 概率 为 : 


a P(AB) 
P(A|B) a 





(2-55) 


在 此 假设 P(B) 关 0。 

2-9 用 维 因 图 的 形式 很 好 地 解释 了 事件 A 和 B 关于 条 件 概 率 的 定义 。 当 B 为 真 时 ， 
原始 样本 空间 Q 被 压缩 为 只 包含 B 的 元 素 的 那 部 分 (因为 此 时 事件 B 已 经 发 生 了 )。 因 此 ， 
式 (2-55) 中 的 分 子 表示 A 和 有 中 共有 的 元 素 : ANBAR, 我 们 只 对 A MB 交集 中 那 部 
分 元 素 的 概率 感 兴 趣 。 计 算 - 了 (AB) 需 要 依据 的 是 原始 样本 空间 中 的 所 有 原始 输出 结果 ， 
但 样本 空间 此 时 已 经 被 压缩 了 ， 因 此 需要 将 P(AB) 进 行 归 一 化 处 理 。 将 P(AB) 除 以 
P(B), 使 得 P(。|1B) 是 一 个 恒定 大 小 的 概率 测度 ,并且 满足 概率 论 的 公理 ,下 面 的 这 个 
命题 将 对 其 进行 证 明 。 


将 B 作 为 前 提 条 件 使 得 
样本 空间 从 Q 压 缩 为 B 


将 B 作 为 前 提 ，C 就 被 
排除 在 外 了 





图 2-9 条 件 概率 : 如 果 元 素 属于 A 而 不 属于 B， 那 么 在 测度 P(。 | B) 中 它们 的 概率 为 0 
(实际 上 ， 它 们 就 是 不 可 能 事件 ) 


命题 2-6 条件 概率 P(A|B) 是 一 个 关于 事件 A 的 有 效 概率 测度 。 
证 明 : 根据 公理 2-1 和 条 件 概 率 的 定义 可 知 ，P(AB)/P(B) 宇 0。 又 因为 P(AB) 和 
P(B) 是 原始 样本 空间 2 中 有 效 的 概率 ， 立 即 可 知 PCA|B)>0, REAM 2-2, 
_ PABI“ PCB) s 
P(Q|B) = P PR) 1 (2-56) 


最 后 ， 根 据 公 理 2-3 OO 小 可 知 ， 


P(U À. |B) = =m P(U AB) = pip PAB) = > PCA, |B) (2-57) 
在 证 明 最 后 ， 关于 对 联合 事件 { {A ,B) 取 并 集 用 到 了 公理 2-3 的 结论 。 


对 于 有 限 试验 ，P(B) 王 | 如 /12|， 此 时 我 们 还 可 以 根据 概率 的 频率 解释 来 证 明 这 个 
命题 是 正确 的 。 根 据 压缩 后 的 样本 空间 : 


P(A|B) = — ` (2-58) 


上 面 这 个 公式 可 以 很 好 的 描述 例 2-38 中 的 条 件 概 率 是 如 何 计算 的 。 同 时 请 注意 这 个 
等 式 还 可 以 改写 为 : 
P(A|B) = |AB|/|Q| _ PCAB) 


IBI/1a| PCB) aba 

得 到 的 结果 同 定义 是 相同 的 。 尽 管 我 们 不 能 将 概率 的 频率 解释 推广 到 连续 试验 ， 但 直觉 告 

诉 我 们 这 应 该 是 相同 的 ， 而 且 定义 (2.55) 可 以 应 用 到 任何 “好 定义 ”的 随机 试验 ， 比 如 连续 

的 、 离 散 的 或 者 混合 的 。 

需要 注意 的 是 ，P(A|B) 只 是 关于 事件 A 的 有 效 概率 测度 ， 关 于 条 件 事件 B 并 不 是 有 
效 的 。 对 于 事件 A，B 和 C， 下 面 的 表达 式 是 命题 2-6 的 一 个 合理 拓展 ， 

P(A U B|C) = P(A|C) + P(B|C) — P(AB |C) (2-60) 

条 件 事件 C 被 移 到 了 每 一 项 的 右 端 。 如果 将 条 件 事件 写成 集合 运算 的 形式 ， 比 如 
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P(A|BUC), 那么 一 般 而 言 ， 
P(A|B UC) Z P(A|B) + P(A|C) — P(A|BC) (2-61) 

对 于 条 件 事件 进行 集合 运算 不 满足 概率 论 公 理 ， 而 且 我 们 不 能 将 关于 独立 事件 并 集 的 
条 件 概率 拆 开 成 各 自 条 件 概率 的 形式 ， 比 如 不 能 将 P(A1B UC) 写 成 B 和 C 的 分 开 的 表 
达 式 。 

再 次 考虑 原始 的 样本 空间 4{2, 大 ,P}。 如 果 将 了 作为 前 提 条 件 ， 那 么 样本 空间 被 压 
缩 成 了 BCAQ，o- 域 也 被 压缩 为 了 子 e- 域 CC 六， 条件 概率 为 P |B), 与 前 面 描述 的 
一 样 。 因 此 ， 此 时 的 条 件 概率 空间 为 {B,9,P(. |B)), 接 下 来 我 们 将 用 一 道 例题 来 进 
Eb 

# 9 Fi Pc EE TRS ARASH WO 一 { {HH ,TT,TH ,HT}。 RFARR, # 
s. yd ` 定义 条 件 事 件 B= 二 {至 少 有 一 个 是 及} ， 样 本 空间 被 压缩 为 B 二 (HH,TH, 

， 对 应 的 子 oh (BHR) 39 Q = {$,B,HH,TH,HT, {HH,TH}, {HH,HT}, 
ign < 

我 们 再 用 另外 一 道 例题 来 解释 条 件 事 件 如 何 压 缩 样本 空间 。 

ERB KR HAGE, PRR MEE F= { 输 出 值 一 3} 的 概率 感 兴 "i 
并 且 前 提 是 事件 E= (W H ië 3452) 8. Ze PC(F|E)=1/3, #= JE) W E 2 Z F] ( 

tm hae bea. ame S Ph SOS e 1% be 
P(E|IF)= 二 1/2。 在 这 两 种 情况 下 ， 条 件 概率 与 对 应 的 非 条 件 概率 值 都 是 一 样 的 : 
P(CF|) 王 PCF) 以 及 了 GIF) 一 PCE)。 这 不 是 一 个 巧合 ， 这 是 因为 在 这 个 试验 中 事件 E 
fi F 是 相互 独立 的 。 本 


2.10 独立 性 


独立 性 是 概率 论 中 一 个 非常 重要 的 特性 ， 在 随机 试验 的 建 模 中 ， 该 特性 往往 可 以 使 分 
析 更 加 简便 。 如 果 两 个 事件 对 各 自 的 输出 结果 没有 任何 影响 ， 那 么 我 们 就 可 以 认为 这 两 个 
事件 是 相互 独立 的 。 上 有 具体 定义 如 下 : 

定义 (独立 事件 ) 事件 A 和 B 是 相互 独立 的 ， 当 且 仅 当下 面 的 等 式 成 立 : 

P(AB) = P(A)P(B) (2-62) 

P(AB) 称 作 事 件 A 和 B 的 联合 概率 (joint probability， 表 示 二 者 同时 发 生 )。 在 联合 
概率 的 概念 里 ， 独 立 概率 PCA) Fo P(B) 称 作 边缘 概率 (marginal probability)。 接 下 来 的 这 
个 例题 就 很 清晰 的 讲解 了 独立 性 的 定义 。 

投掷 两 枚 硬币 ， 观 察 到 的 试验 结果 都 是 正面 朝 上 的 概率 为 P(HH)==P(H)P 
( 百 ) 王 (1/2)(1/2) 王 1/4。 很 显然 ， 从 物理 学 的 角度 来 看 ， 一 枚 硬币 的 投掷 不 可 能 影响 到 
另外 一 枚 硬币 投掷 的 结果 ， 从 概率 学 的 频率 角度 解释 ， 这 个 概率 就 可 以 拆 分 成 式 (2-62) 那 
样 的 独立 事件 的 形式 。 同 样 的 ， a edly Sty 对 输出 结果 {wyws)》 的 概率 





A Planson) = Ploni Plon) = 1/36, 其 中 wn {1,2,3,4,536}, < 
根据 条 件 概率 的 定义 可 知 : 
_ P(AB) _ PCAIPCB) 5 Y 
P(A|B) = RB. P P(A) (2-63) 
同样 的 ， 
P(B|A) = P(B) (2-64) 


从 上 面 这 两 个 结论 看 出 ， 两 个 事件 的 独立 性 是 一 个 对 称 的 特性 ， 即 二 者 是 相互 独立 的 。 
式 (2-62) 给 出 的 是 独立 性 的 标准 定义 ， 式 (2-63) 也 可 以 当做 独立 性 的 定义 。 实 际 上 ， 后 者 
的 结论 更 直观 一 些 ， 因 为 事件 B 作为 事件 A 的 前 提 也 无 法 影响 .A 的 概率 ,很 显然 它们 是 
独立 的 。 为 了 验证 两 个 事件 是 否 独立 ,我 们 只 需要 验证 式 (2-55) 的 左边 与 右边 是 否 相 等 即 
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可 。 也 就 是 说 ， 如 果 等 式 两 边 的 数值 是 相等 的 ， 那 么 事件 是 独立 的 。 非 独立 事件 无 法 保证 
式 (2-62) 成 立 。 

两 个 事件 独立 性 的 定义 可 以 拓展 到 多 个 事件 。 

定义 (相互 独立 事件 (Mutually Independent Events)) 事件 (A... An) 相互 独立 ， 
是 指 下 式 对 于 (A, |. Ay) 所 有 可 能 的 子 集成 立 : 

P(A,™A,) = P(A,)*…P(A,) (2-65) 

这 不 仅 包括 两 个 事件 的 组 合 ， 也 包括 三 个 事件 的 组 合 ， 以 此 类 推 ， 适 用 于 N 个 事件 组 合 
的 情况 : 


P(A,A,) = P(A,)P(A,), mn (2-66) 
P(A,A,A,) =P(A,)PC(A,)PCA,), m= = b (2-67) 
PCA; An) =P(A:): PCAN) (2-68) 


如 果 上 面 任意 一 个 组 合 等 式 不 成 立 ， 根 据 定 义 这 些 事件 就 是 非 独 立 的 。 通 过 这 种 方法 
可 以 比较 容易 的 判断 多 个 事件 是 否 独立 。 我 们 可 以 先 从 两 个 事件 的 组 合 开始 验证 ， 然 后 验 
证 三 个 的 情况 ， 一 直 验 证 到 有 一 个 等 式 不 成 立 为 止 。 如 果 为 了 证 明 这 些 事件 都 是 相互 独立 
的 ， 所 有 的 等 式 都 必须 得 到 验证 。 

QED 还 是 继续 前 面 投 抑 山 子 的 试验 ， 事 件 E= (BB), F=( |+ 3), 我 们 知道 
此 时 P(EF) 二 P(E)P(F)。 现 在 考虑 另外 一 个 事件 G 二 {可 以 被 3 整除 }， 此 时 对 应 的 是 
G =({3,6}, m E P(G) 王 1/3。 根 据 图 2-8 的 维 因 图 可 知 ，EG 二 {16}， 因 此 P(EG)=1/6, 
可 以 看 出 PCFG) 王 0( 因 为 下 和 G 是 不 相交 的 )， 但 是 P(F)P(G)=1/9, SH (E,F,G) 不 
是 相互 独立 的 。 < 


2.11 贝 叶 斯 公式 


贝 叶 斯 公式 在 计算 条 件 概率 ， 或 者 从 条 件 概 率 中 计算 边缘 概率 时 非常 有 用 。 
定理 2-2( 贝 叶 斯 公式 ) 对 于 事件 (A,B) € Q, B P(B)Z0:; 
P(B|A)P(A) 


P(A|B) = PCB) (2-69) 
同样 地 ， 对 于 P(A) 关 0: 
_ P(A|B)P(B) i 
P(B|A) Las ¿Yam (2-70) 
证 明 : 根据 条 件 概 率 的 定义 ， 我 们 可 以 写成 下 面 的 表达 式 : 
P(AB) = P(B|A)P(A) = P(A|B)P(B) (2-71) 


整理 上 面 这 个 结论 ，P(A|B) 或 PCB1A) 的 表达 式 为 贝 叶 斯 公式 ， 也 称 作 贝 叶 斯 法 则 。 

GREED (二 元 对 称 信道 )。 贝 叶 斯 公式 最 重要 的 一 个 例子 就 是 二 元 对 称 信道 (BSC)， 
如 图 2-10 所 示 ， 它 给 出 了 一 个 数字 通信 系 
统 中 发 生 比 特 传送 错误 的 模型 。 对 于 一 个 
二 元 系统 ， 被 传输 的 符号 有 两 种 输出 ， 我 
NA {0,1} 来 表示 这 两 个 二 元 基本 事件 。 
这 个 模型 其 实 与 硬币 投掷 试验 是 等 效 的 ， 
只 需要 定义 H=] 和 T=0, #£#£ 3 章 将 要 
介绍 ， 用 随机 变量 X 来 表示 被 传输 的 符号 。 图 2-10 二 元 对 称 信道 (BSC)， 输 入 为 X， 输 出 为 
是 很 方便 的 ， 此 时 X“ 随 机 ”的 取 这 两 个 值 。 Y. “二 元 ”意味 着 |x|=|Y|=2, “xt 
和 本 身 不 是 随机 的 : 它 被 两 个 可 能 的 输出 HERE PCY =0|X=0)=P(Y=1| 
值 ( 称 作 字 母 表 ) 定 义 ， 而 且 每 个 取 值 都 赋 Sa ek 
予 一 个 特定 的 概率 。 随 机 变量 的 随机 性 体现 在 :之 前 谁 也 无 法 知道 到 底 会 取 哪 个 值 ， XH 
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取 值 是 不 确定 的 。 一 般 情况 下 ， 在 一 个 真实 系统 中 P(X=0) 二 P(X=1) 二 1/2( 类 似 于 硬 
币 投掷 试验 ) 。 
同样 的 ， 用 随机 变量 立 来 表示 接收 到 的 符号 ， 它 的 取 值 同样 是 字母 表 {0,1)。 RIR 
兴趣 的 是 在 这 个 信道 里 发 生 符 号 传输 错误 的 概率 ， 也 可 以 用 两 个 条 件 概 率 来 表示 这 种 错 
误 ， 即 P(Y=1|X=0)# P(Y 二 0|X= 二 1)。 如 果 这 两 种 条 件 概率 是 相等 的 ， 那 么 这 个 信道 
是 对 称 的 。 可 以 用 关于 XX 的 条 件 概 率 来 定义 平均 错误 概率 : 
P, AP (Y =1)X =0)P(X=0)+ PY =0|X=DP(K=V (2-72) 
这 就 是 关于 全 概率 定律 的 一 个 例子 ， 稍 后 我 们 会 进行 讨论 。 因 为 信道 是 对 称 的 ， 因 此 只 需 
要 计算 一 个 条 件 概 率 ， 可 得 : 
P, = PY = 1|X = 0) [P(X = 0) + P(X =1)] =P =1/X=0) (2-78) 
在 一 个 实际 的 通信 系统 中 ， 可 以 通过 很 多 次 试验 来 测量 P. 的 数值 ， 一 般 会 发 送 一 长 串 的 
符号 0 和 1， 而 且 接 收 端 事先 知道 发 送 的 符号 ， 最 后 统计 错误 比特 数 。 
通信 系统 的 接收 端 需要 相反 的 条 件 概率 : P(X=0/Y=0), P(X=0/Y=1D, P(X= 
1|Y=0), UR P(X==1|Y 二 1)。 例 如 ， 如 果 收 到 的 符号 是 Y 二 0 接收 端的 任务 就 是 判断 到 
底 发 送 的 是 X 一 0 还 是 XX 二 1。 因 为 输入 是 随机 的 ;接收 端 无 法 完全 准确 的 判断 传送 的 是 哪个 
符号 。 有 一 种 判决 准则 称 作 最 大 后 验 概率 准则 (MAP， 见 第 10 章 )， 该 准则 给 出 的 结果 会 使 
得 PX=r| Y= VRR RAKE, AF ry € (0.1), 根据 贝 叶 斯 公式 ， 还 可 以 写 为 如 下 形式 ， 
PÚX = jY = = PEA = = (2-74) 
其 中 P(Y 二 y| 闪 二 x) 对 于 一 个 特定 的 通信 系统 是 已 知 的 。 接 收 端 事先 知道 先 验 概率 P(X= =) 
(在 以 事件 Y 为 前 提 之 前 )， 因 此 P(Y 二 y) 可 以 通过 下 面 的 全 概率 公式 计算 得 到 ; 
PLY = y) = PY = y|X =0)P(X = 0) + PY = y|X =DP(X=1) (2-75) 
在 第 2. 12 节 中 还 将 继续 这 个 例题 。 < 


2.12 全 概率 


全 概率 定律 作为 贝 叶 斯 公式 的 一 个 拓展 ， 将 样本 空间 Q 划分 为 了 不 同 的 事件 。 在 有 些 
问题 中 利用 全 概率 定律 来 计算 某 个 事件 的 概率 会 比较 方便 ， 尤 其 是 涉及 条 件 概率 的 情况 ， 
例如 例 2-43 讨论 的 二 元 对 称 信道 就 属于 这 种 情况 。 

定理 2-3( 全 概率 ) R {Bn = 1, N, 是 样本 空间 有 的 一 个 划分 ， 那 么 下 面 的 等 
式 成 立 : 





P(A) = PCA1B,)P(B,) (2-76) 
证 明 : 因为 { 了 3,} 来 自 一 个 划分 ， 所 以 为 NB, = 以 及 AB, AB, 一 $， ném 又 因为 ; 
U AB, = n (2-77) 
所 以 可 得 : > 
P(A) = SYPCAB,) (2-78) 


将 上 式 每 项 都 写成 条 件 概 率 的 形式 P(AB,)=P(A|B,)P(CB,)， 命 题 得 证 。 
CED 440243 中 的 二 元 对 称 信道 ， 输 入 为 X， 输 出 为 了 ， 对 和 进行 划分 可 以 
得 到 式 (2-75),， 每 一 个 Y 的 取 值 概率 为 : 
PCY = 0) =P(Y = 0|X = 0) P(X = 0) + PCY = 0|X =1)P(X¥ =1) (2-79) 
P(Y = 1) =P(Y = 1|X = 0) P(X = 0) + PCY = 1|X = 1)P(X =1) (2-80) 
先 验 概率 {PC( 义 二 zx)} 和 信道 错误 概率 {P(Y==y| 义 ==x)} 往 往 是 已 知 的 ， 可 以 计算 得 到 
{P(Y=)}。 设 {P(X==1)} 二 bp， 因为 信道 是 对 称 的， 可 以 将 P(Y= 二 1|X=0)= 二 P(Y= 
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0|X=1)=P, f P(Y=1|X=1)=P(Y=0|X=0)=1—P, 代入 式 (2-79) 和 (2-80) 得 到 : 
P(Y = 0) =0 — P.)(1— p) + P.p (2-81) 
P(Y = 1) =P. —p)+(1—P,)p (2-82) 
图 2-11 给 出 了 上 面 两 个 关于 力 的 函数 的 图 像 ， 此 时 P. 二 0.1( 对 于 一 个 通信 系统 而 言 
这 是 一 个 很 高 的 错误 概率 )。 很 显然 ， 当 pAl/2H, P(Y=0)Z P(Y=1)(p=1⁄/2 是 指 
P(X=0)=P(X=1)). 





0 0.2 0.4 0.6 0.8 1 
p 


图 2-11 例 2-44 中 ,二 元 对 称 信道 的 输出 概率 ， 该 概率 是 2 一 PCX 一 1) 的 函数 ， 此 处 的 错误 概率 P, —0.1 << 


(药物 测试 ) 。 药 物 测 试 是 有 关 贝 叶 斯 公式 和 全 概率 定律 的 另外 一 个 非常 有 名 
的 应 用 ， 这 个 测试 用 于 判断 病人 是 否 患 病 。 两 个 事件 : A= (jN RE IH bk), B= (38 À Ë 
病 }。 存 在 两 种 类 型 的 错误 : PCAIBDAREK, PCA | 了 8) 即 假 阴性 。 在 研制 药物 的 过 程 
中 ， 这 两 个 概率 可 以 通过 试验 结果 估算 得 到 。 此 外 ， 基 于 已 有 的 大 量 数据 ， 我 们 假设 
P(B) 是 已 知 的 ， 并 且 准 确 程度 很 高 。 因 此 ， 当 一 个 病人 患 病 并 且 得 出 的 测试 结果 为 阳性 
的 概率 就 可 以 用 贝 叶 斯 公式 计算 为 : 


_ P(A|B)P(B) š 
P(B\A) = PAP PD) (2-83) 
根据 全 概率 定律 可 知 : 
P(B|A5 = P(A|B)P(B) (2-84) 


P(A|B)P(B) + P(A|B‘) P(B‘) 
等 式 右 边 的 所 有 项 都 是 已 知 的 ， 因 为 PCA|B)+P(A'|B)=1, PC(A|B)+P(A |B )=1, 
例如 ， 如 果 P(A°|B)=P¿(A|B:)=0.1, P(B)=0.02, #2 Tæ P(B|A)=z0.16, W 2-12 给 
出 了 P(B|A) 的 函数 图 像 ， 横 坐标 的 范围 是 0 到 0.1， 表 示人 和 群 中 患 病 的 概率 。 < 
最 后 ， 联 合 概率 可 以 写成 一 个 有 关 条 件 概率 的 连 乘 表达 式 ， 这 有 点 类 似 于 全 概率 定 
律 ， 不 过 这 里 并 不 需要 对 事件 进行 划分 。 随 着 事件 数目 的 增加 ， 取 条 件 概率 的 数目 也 会 增 
加 ， 下 面 的 这 个 定理 将 进行 介绍 。 
定理 2-4 设 样本 空间 Q 中 的 NN 个 事件 {B,}， 它 们 的 联合 概率 PCB By) AO, Hi 
些 事件 连续 取 条 件 概率 可 得 ， 


P(Bi*By) = P(B,)P(B, | B,) PCB; | By B, ++ P(By | By... By) (2-85) 
证 明 : 通过 数学 归纳 法 来 证 明 。 根 据 贝 叶 斯 公式 ， 对 一 个 事件 取 条 件 概率 为 : 
P(B,B,) = P(B,)P(B, | By) (2-86) 


假设 对 于 N 一 1 个 事件 ， 下 面 的 表达 式 成 立 : 


52 第 一 部 分 概率 、 随 机 变量 与 期 望 


P(B,**Bya) = P(B,) PCB, | B1) P(B; | BiB,)---P(Bs | Bie By) (2-87) 


% 0.02 0.04 0.06 0.08 0.1 
: P(B) 


图 2-12 {j 2-45 中 ， 药 物 测 试 的 概率 P(B|A) 是 PCB) MRR, P(A:|B)=P(A|B:)=0.1 


因为 可 以 把 Bis By 的 交集 看 做 是 一 个 单一 事件 ， 下 面 的 表达 式 仍然 是 贝 叶 斯 公式 的 
一 种 形式 : 
P(CB,…Bv) 一 PCBv|B…Bvwi)PCB…BN) (2-88) 
将 式 (2-87) 代 人 式 (2-88) ， 可 知 对 于 N 个 事件 该 假设 仍然 成 立 ， 因 此 命题 得 证 。 


2.13 离散 样本 空间 


给 离散 样本 空间 (有 限 或 无 限 可 数 ) 赋 予 概率 值 是 一 种 给 很 直观 的 做 法 ， 因 为 在 样本 空 
间 Q 中 事件 被 当 作 了 独立 的 样本 点 ， 并 且 在 赋予 概率 值 时 满足 概率 论 公理 。 同 前 面 类 似 ， 
在 此 我 们 假设 离散 样本 空间 Q EEF = PO. 
GED 某 随 机 试验 的 输出 {z,} 为 自然 数 集 N。 假 设 我 们 对 这 些 输出 赋予 如 下 的 概 
率 值 : 
P(z,) = C1 p)" p (2-89) 
其 中 0 二 p 二 1。 这 种 类 型 的 概率 得 到 的 是 几何 分 布 随机 变量 ( 见 第 3 章 )。 实 际 上 ,这 对 应 
的 就 是 硬币 投 毛 试 验 ， 将 试验 连续 进行 直到 第 一 次 出 现 态 为止, HP P(H)=; . 尽管 输 
出 结果 有 无 数 多 个 ， 但 全 部 概率 之 和 为 1: 
Dp p= lees Ce ey ue. (2-90) 
上 面 的 结论 用 到 了 附录 正中 关于 无 限 长 序列 求 和 的 闭合 表达 式 。 WE JE 
子 ， 该 序列 被 p 进行 了 比例 缩减 ， 同 时 这 是 一 个 可 数 长 度 的 序列 ， 估 此 该 序列 求 和 结果 收 
人 敏 为 1。 实际 上 ， 任 意 收敛 序列 只 要 其 求 和 结果 为 1， 那么 该 序列 都 可 以 被 赋予 概率 。 < 
接 下 来 考虑 一 个 特殊 的 有 限 样本 空间 2， 其 输出 结果 {ow, } 是 等 概率 的 。( 很 显然 ， 无 
限 可 数 的 样本 空间 不 可 能 存在 等 概率 的 输出 )。 在 这 种 情况 下 ， 任 意 一 个 事件 Ec Q 的 概 
KETE E 发 生 的 次 数 与 样本 空间 基数 的 比值 ， 


P(E) = — (2-91) 

其 中 | 已 | 表示 五 的 基数 。 在 这 个 等 概率 的 情况 下 ， 概 率 的 计算 简化 为 了 一 个 组 合 问题 。 计 

算 |Q| 相 对 比较 简单 ， 计 算 |E| 要 复杂 一 些 ， 因 为 这 涉及 输出 的 子 集 。 为 了 对 这 个 问题 有 
更 清晰 的 认识 ， 我 们 需要 学 习 组 合 与 排列 之 间 的 区 别 。 

定义 (组 合 与 排列 (Combination and Permutation)) 组 合 是 指 不同 元 素 的 无 序 集 合 。 
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排列 是 指 这 些 不 同 元 素 的 一 种 有 序 的 集合 。 
对 于 N 个 不 同 的 元 素 ， 只 存在 一 种 组 合 : 因为 不 用 考虑 元 素 的 顺序 ， 随 便 什么 顺序 
都 是 相同 的 组 合 。 而 另外 一 方面 ， 对 这 些 元 素 不 同 的 顺序 就 对 应 了 不 同 的 排列 。 





例 2-47 对 于 集合 已 三 (a, sd2 Gs) s 只 有 一 种 可 能 的 组 合 ， 即使 {az say a3} 也 是 同一 个 
组 合 。 为 外 一 方面 ， 存 在 6 种 可 能 的 排列 : 除了 前 面 提 到 的 两 种 ， 还 有 (asas sar}, {azs03, 
ay), (azsa saz} FO {az ya2 a, } < 


从 这 个 简单 的 例子 可 以 看 出 ， 对 于 一 个 含 N 个 不 同 元 素 的 集合 ， 只 可 能 有 一 种 组 合 
FE. BA N! 种 排列 存在 。 下 面 分 析 一 下 一 般 问 题 的 求解 。 因 为 排列 是 一 个 有 序 的 集 
合 ， 意 味 着 需要 考虑 一 个 元 素 同 其 他 元 素 位 置 的 相互 关系 ， 第 一 步 我 们 有 N 种 可 能 的 选 
择 ， 第 二 步 只 能 在 剩余 的 N 一 1 个 元 素 里 面 选 择 ( 因 为 排列 中 的 元 素 必 须 是 不 同 的 ， 我 们 
不 能 选择 第 一 步 中 选 出 的 那个 元 素 )。 类 似 的 ， 在 第 三 步 我 们 有 N—2 个 元 素 可 以 选择 ， 
以 此 类 推 直到 最 后 一 个 元 素 ， 此 时 就 只 剩 一 个 元 素 可 供 选 择 了 。 因 此 ， 对 于 N 个 不 同 的 
元 素 ， 可 能 的 排列 数目 为 : 

N(N—1)-:2 .1=N! (2-92) 

如 果 要 统计 事件 王 中 输出 的 数目 ， 我 们 必须 首先 考虑 它们 的 顺序 是 否 重 要 。 接 下 来 的 
例题 描述 了 这 种 情况 。 

假设 我 们 要 从 桌面 上 的 52 张 牌 中 抽出 5 张 不 同 的 牌 。 那 么 存在 5! 种 可 能 来 
整理 这 些 牌 ， 对 应 着 120 种 排列 。 但 是 我 们 知道 ， 在 扑克 牌 游戏 中 ， 手 里 面 牌 的 排列 并 不 
能 影响 你 的 “ 牌 面 实力 ”。 我 们 抓 到 的 牌 的 好 坏 与 否 只 取决 于 牌 的 组 合 ， 它 们 的 顺序 是 无 关 
紧要 的 。( 即 使 我 们 拿 到 的 是 同花顺 {15,6,7,8,9) ; 我 们 将 它们 按照 升序 排列 还 是 降序 排 
列 ， 也 不 会 影响 这 手 牌 的 实力 ,) < 
dee 一 般 情 况 下 ， 如 果 在 问题 描述 中 着 重 强 调 了 元 素 的 摆 放 ， 那 么 就 应 该 考虑 
这 是 一 个 排列 问题 。 现 考虑 社保 号 (social security number. SSN 是 一 个 9 位 数字 ， 并 且 
这 9 位 数字 是 不 同 的 ， 不 包括 0) 的 数目 统计 问题 。 很 显然 ， 这 些 数字 的 顺序 就 很 重要 
T: 存在 着 9! =362880 个 可 能 的 社会 安全 号 ， 也 即 是 数字 1 到 9 的 排列 问题 。 这 种 类 
Aly “ak ob” Be Ye“ SE R HE HK FE” (sampling without replacement); 如 果 一 个 数字 被 选中 
了 ， 那 么 该 数字 就 不 会 被 再 次 选中 ; 如 果 假 设 我 们 允许 数字 被 重复 选用 ， 此 时 就 会 有 9 
种 可 能 (仍然 不 包括 0) 。 后 面 这 种 情况 就 不 属于 式 (2-92) 的 范畴 ， 因 为 这 些 数字 不 是 相 
互 不 同 的 ， 这 称 作 “替代 性 采样 ”(sampling with replacement) 。 此 时 元 素 个 数 的 计算 与 推 
导 式 (2-92) 的 过程 比较 类 似 : 允许 数字 被 重复 选用 的 话 ， 就 有 会 有 9X9 义 心 X9 一 9 一 
387420489 种 可 能 。 < 

对 于 涉及 NN 个 不 同 但 等 概率 输出 结果 的 问题 ,我 们 往往 对 其 某 个 子 集 感 兴趣 ,该 
子 集 对 应 某 个 事件 且 包 含 MN 个 元 素 。 这 种 情况 下 存在 不 止 一 种 组 合 ， 因 为 即使 不 考 
虑 顺序 ， 从 六 个 元 素 中 选 出 M 个 元 素来 也 有 很 多 种 方法 。 易 知 ， 这 种 情况 下 排列 的 数 
AA: 





N(N=1)(N—M+41) &(N)u (2-93) 
其 中 CN)w 表示 递 降 阶乘 (falling factorial) GLB B)， 它 可 以 被 写作 如 下 形式 : 

(N) = NF LN- 2 =X ew 

因为 这 个 集合 有 M 个 元 素 ， 因 此 根据 式 (2-92) 可 知 存在 着 M! 种 排列 。 计 算 从 N 个 

元 素 中 选 出 M 个 元 素 的 组 合 数目 ， 将 式 (2-94) 除 以 排列 的 数目 即 可 。 也 就 是 把 含有 相同 

M 个 元 素 的 所 有 排列 当做 是 同一 种 组 合 。 
NL 3 Wu (N) 
M 


NE—MWIMI M! 





(2-95) 


33 
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上 面 最 后 一 个 表达 式 称 作 二 项 系数 ， 我 们 读 作 “从 N 个 中 选择 M 个 ”。 式 (2-94) 和 
式 (2-95) 分 别 总 结 了 从 N 个 不 同 元 素 中 选取 M 个 元 素 的 组 合 数目 与 排列 数目 。 在 附录 E 
的 表 E-1 和 E-2 中 给 出 了 一 些 阶乘 和 二 项 式 系数 结果 ， 并 给 出 了 Stirling 公式 ， 用 于 估算 
N 很 大 时 的 N1。 

GED 假设 我 们 对 6 位 车 牌号 码 感 兴趣 (不 考虑 字母 )， 并 且 这 些 数字 不 能 重复 ， 也 
不 能 包括 数字 0。 根据 式 (2-94)，N 一 9，M 一 6， 此 时 数字 的 顺序 是 很 重要 的 ， 因 此 车 牌 
的 数目 为 一 个 排列 问题 : 

9! 


如 果 我 们 不 考虑 数字 的 顺序 ， 根 据 式 (2-95)， 车 牌 的 数目 为 一 个 组 合 问题 ， 

9 

[.)= 84 (2-97) 
如 果 按 照 组 合 问题 看 待 ， 车 牌 123456 5 213456 就 是 “相同 的 ”， 因 此 它们 就 只 能 算 一 个 车 
牌 。 根 据 式 (2-95)， 将 结果 除 以 6 个 数字 的 排列 数目 (MI! =6! =720)H 7, < 


上 面 的 结论 可 以 归纳 成 这 样 一 个 试验 : 假设 存在 N 个 元 素 但 这 些 元 素 并 非 相 互 不 同 ， 
将 这 些 元 素 归 拢 到 M 个 子 集中 去 ， 每 个 子 集中 的 元 素 都 是 相同 的 。 第 一 组 有 Ni 个 完全 相 
同 的 元 素 ， 第 二 组 有 N: 个 完全 相同 的 元 素 ， 以 此 类 推 ， 第 M 组 有 Nu 个 完全 相同 的 元 
素 ， 并 且 有 : 


M 
SN. = N (2-98) 


前 面 的 例题 也 符合 这 个 试验 ， 只 不 过 每 一 组 里 面具 有 一 个 元 素 : Nu = 1,m 一 1,…， 
M。( 请 注意 : 很 显然 ,我 们 假设 组 与 组 之 间 不 含有 相同 的 元 素 ， 否 则 的 话 ， 这 些 组 就 应 该 
被 归 拢 到 一 个 更 大 的 组 里 面 去 。) 

因为 这 N 个 元 素 不 再 是 相互 区 别 的 ， 原 有 的 排列 数目 N! 就 随 着 这 些 组 的 排列 数目 
而 降低 。 第 一 个 组 里 面 有 Ni 个 完全 相同 的 元 素 ， 很 显然 需要 将 N! 除 以 Ni!， 这 样 第 一 
组 里 面 所 有 的 排列 都 算 作 一 个 。 以 此 类 推 , 可 得 总 的 排列 数 为 : 

1 N 
Sy rd ee ear. 
等 式 右边 的 表达 式 称 作 多 项 式 系数 。 如 果 所 有 的 组 都 只 有 一 个 元 素 ， 式 (2-99) 就 简化 为 了 
式 (2-92) 。 

GED 考虑 一 个 投掷 4 枚 硬币 的 随机 试验 ， 设 事件 已 表示 出 现 3 AAH., TA E W 
元 素 为 {T,T,T,H}, (T,T,H,T}, (T,H,T.T} 和 (H,T,T,T), 这 也 是 3 AK W 1 NE 
面 的 所 有 可 能 的 排列 。 因 此 |E|= 二 4，|0Q|= 二 2* 二 16, 概率 P(E)= |E|/]Q]=1⁄4, # 
个 试验 中 元 素 的 顺序 很 重要 : 我 们 必须 考虑 出 现 这 一 个 H 的 年 种 方式 。 在 这 里 不 能 直接 
应 用 式 (2-92)， 因 为 这 里 的 元 素 并 不 是 相互 区 别 的 : 出 现 的 3 个 反面 是 相同 的 元 素 ， 这 3 
ATHESHE 的 4 个 元 素 中 顺序 并 不 重要 。 根 据 式 (2-99); N=4, Ni=1, N, =3, 
可 得 : 

4 
| |= (11)=4 (2-100) 

接 下 来 再 考虑 事件 下 。 在 下 中 包含 两 个 个， 我 们 再 分 析 一 下 问题 又 会 有 什么 变化 。 此 
it F WKH (T.T.H.H). (H,H,T,T), IH,T,H,T), (H,T;T,H) m (T,H,H, 
T), 根据 式 (2-99),， 下 的 组 合 数 目 为 ， 

[ER 二 全 (2-101) 
因此 概率 PCF)=|F|/|Q|=3/8. < 


第 2 章 wm & 论 55 


最 后 ， 我 们 进一步 讨论 对 有 限 样 本 空间 的 采样 ， 且 结果 为 等 概率 输出 。 再 次 考虑 前 面 
的 两 个 例题 : Ci ) 在 扑克 游戏 中 手 里 抓 到 的 5 张 牌 ;， CRE. ETB 
子 ， 这 5 张 牌 是 从 桌面 上 抽出 来 的 ， 它 们 并 没有 相互 蔡 代 ， 这 是 一 个 非 替 代 性 采样 的 例 
子 。 这 道 例题 一 个 显著 的 特点 就 是 : 如 果 还 要 从 同一 个 桌面 上 抽出 5 张 牌 (比如 另外 一 个 
玩家 )， 那 么 样本 空间 已 经 发 生 了 变化 ， 此 时 只 有 47 张 牌 可 供 选择 。 在 计算 概率 的 时 候 这 
种 情况 肯定 要 考虑 到 。 第 二 个 例子 对 应 的 是 替代 性 采样 : 每 次 投掷 仍 子 的 时 候 ， 样 本 空间 
都 是 没有 变化 的 。 在 每 次 投 货 子 后 6 个 点 数 都 是 可 能 的 。 如 果 将 这 个 骨 子 投掷 M 次 ， 排 
列 的 数目 为 : 

N.N = N™ (2-102) 


对 于 一 个 有 限 的 随机 试验 ， 表 2-5 总 结 了 各 种 情况 下 样本 数目 的 计算 公式 。 其 中 第 四 
种 情况 对 应 的 是 习题 2-49， 它 给 出 了 如 何 计算 可 替代 时 的 排列 数目 。 


表 2-5 排列 与 组 合 的 数目 











采样 类 型 (NN 个 元 素 选 出 M 个 ) 






N ra N! 
非 奉 代 性 组 合 alta (N—M)! 
_ N! 
非 替 代 性 排列 (Mu TNM] 
N+M—1\_(N+M—1)! 
替代 性 组 合 ( M =m (N—1)! 


替代 性 排列 


假设 将 一 个 朋 子 投 兢 两 次 。 根 据 表 2-5 给 出 的 公式 可 知 ， 可 替代 时 的 组 合 数 
BH: 
CTO = hea (2-103) 
= RAAT RN HAR, RES — F 8 + W £: RO Z Il 22 RWWA: 
(1,1),(1,2),(1,3),(1,4),(1,5),(1,6), (2,1),(2,2),(2,3),(2,4),(2,5),(2,6) 
(8,)),(3,2),G3,3),(3,4),(8,5),G,6), (4,1),(4,2),(4,3),(4,4),(4,5),(4,6) 
(5,1),(5,2),(5.3),(5,4,(5,5),(5,6)，(6,1),(6,2),(6;3),(6,4),(6,5),(6,6) (2-104) 
上 面 给 出 的 就 是 所 有 的 可 替代 性 排列 ， 一 共有 NY 王 6 一 36 个 。 上 面 的 每 个 结果 都 是 唯一 
的 ， 因 为 在 计算 排列 的 时 候 顺 序 是 很 重要 的 。 对 于 组 合 顺 序 就 不 重要 了 ， 第 二 组 里 面 的 (2,1) 
和 第 一 组 里 面 的 (1,2) 就 是 同一 种 组 合 。 同 样 的 ， 我 们 还 需要 将 {(3,1),(3,2))}, {(4,1),(4,2)， 
(4,3)), ((6,1),(5,2),(5,3),(5,4)) #0 ((6,1),(6,2),(6,3),(6,4),(6,5)) 分 别 从 其 他 四 个 集合 里 
面 排除 掉 。 将 这 15 个 输出 结果 从 原始 的 36 种 排列 里 面 扣 除 掉 ， 得 到 的 就 是 21 个 替代 性 的 组 
合 ， 同 时 也 验证 了 式 (2-103) 的 结果 。 < 
FR AS E LY ERR EE Amh, BERTUKAR OE E XI 
样本 空间 Q 的 一 种 采样 。 这 两 种 类 型 的 采样 最 大 的 区 别 在 于 : 在 计算 概率 的 时 候 ， 蔡 换 性 
采样 的 样本 空间 1921| 不 会 发 生变 化 。 假 设 有 一 个 连续 时 刻 的 采样 ， 如 果 这 个 采样 是 可 替换 
的 ， 那 么 采样 输出 是 相互 独立 的 ， 因 为 前 一 个 采样 并 不 会 影响 接 下 来 的 采样 。 如 果 是 非 蔡 
换 的 采样 ， 此 时 情况 就 不 一 样 了 : 后 续 的 样本 概率 还 需要 考虑 之 前 有 哪些 样本 从 样本 空间 
Q 中 被 移 走 了 。 
本 节 讨 论 了 有 限 离散 样本 空间 。 对 于 无 限 可 数 的 离散 空间 ， 采 用 第 3 章 中 将 要 介绍 的 
随机 变量 的 概率 质量 函数 (pmf) 会 更 加 方便 。 在 本 章 最 后 ,我 们 将 介绍 连续 样本 空间 ， 在 
第 3 章 中 还 将 详细 介绍 这 部 分 内 容 。 
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2. 14 连续 样本 空间 


连续 样本 空间 的 输出 结果 是 不 可 数 的 ， 这 种 情况 下 不 可 能 给 每 个 独立 样本 点 赋予 一 个 
非 零 的 概率 值 ， 并 且 这 些 概率 值 之 和 为 1。 例 如， 一 个 随机 试验 的 输出 为 非 负 实数 ，Q= 
R*。 很 显然 ， 任 意 两 个 非 负 实 数 之 间 总 有 无 限 多 个 非 负 实 数 (该 结论 不 适用 于 输出 结果 为 
可 数 的 随机 试验 )。 如 果 我 们 试图 给 独立 点 赋予 概率 值 ， 那 我 们 很 快 认识 到 这 些 概率 值 不 
可 能 分 配给 及 * 中 所 有 的 数 并 同时 满足 概率 论 公 理 。 如 果 一 个 随机 试验 的 输出 是 连续 的 ， 
那么 取 到 一 个 具体 数值 的 概率 必定 为 0。 这 个 结论 乍 一 看 上 去 似乎 有 点 违背 常识 ， 因 为 在 
一 个 连续 试验 中 ， 取 到 某 个 具体 数值 肯定 是 必然 的 ， 但 通过 某 些 示例 可 以 看 出 这 个 结论 的 
正确 性 。 比 如 ， 取 到 x 王 3.14159265… 这 个 是 “几乎 不 可 能 的 ”>， 这 个 事件 基本 上 是 不 会 发 
生 的 ， 换 种 说 法 即 Pix) =0. 

给 连续 随机 试验 赋予 概率 值 ， 对 于 实 线 空间 及 上 需要 考虑 的 是 区 间 ， 对 于 RR 而 言 是 矩 
JÉ, RY 上 就 是 超 答 形 。 基 于 区 间 的 思路 来 赋 概 率 值 ， 不 仅 可 以 满足 概率 论 公理 ， 而 且 也 符 
合 很 多 工程 实际 问题 。 例 如 一 个 反映 日 均 气 温 的 随机 问题 ， 我 们 往往 会 对 气温 在 70 一 75 °F 
(华氏 度 ) 之 间 的 概率 感 兴趣 ， 而 不 会 对 一 个 特定 的 气温 值 ( 比 如 72. 354 实 ) 感 兴趣 。 将 问题 聚 
焦 为 事件 的 一 个 区 间 ， 这 样 就 将 一 个 不 可 数 的 试验 “转换 ”为 了 一 个 可 数 试 验 ， 并 且 可 以 用 可 
数 样 本 空间 的 基本 方法 对 其 进行 处 理 ， 同 时 还 满足 概率 论 的 可 数 芭 加 公理 (公理 2-3) 。 

GREED 考虑 如 图 2-13 所 示 的 随机 试验 ， 样 本 空间 Q = [0,1], 我 们 对 三 个 子 区 间 (E. 
F,G) 的 概率 感 兴趣 。 可 以 看 出 除了 这 9 =[0,1] 
三 个 子 区 间 ， 还 有 其 他 4 个 子 区 间 共 同 | F E J F F ] 一 | 
组 成 了 样本 空间 ， 即 Q2 = [0,1] 被 划 0 ; 
分 成 了 7 个 子 区 间 ， 给 这 些 区 间 赋 概 粗 实 线 表 示 区 间 (EU FU G)° 
率 值 满足 概率 论 公理 。 同 样 的 ， 每 个 
子 区 间 还 可 以 被 进一步 划分 ， 只 要 不 
被 划分 到 一 个 个 的 孤立 点 ， 这 些 区 间 
都 是 可 以 被 赋 概 率 值 的 。 最 后 一 点 需 
要 指出 的 是 : 如 果 我 们 想 对 孤立 点 赋 非 零 的 概率 值 ， 那 么 这 应 该 是 一 个 混合 随机 试验 ， 输 
出 结果 既 包含 离散 的 ， 也 包含 连续 的 成 分 。 在 第 3 章 中 讨论 映射 到 不 同类 型 随机 变量 的 时 
候 将 介绍 这 部 分 内 容 。 4 

对 于 实 线 上 任意 区 间 的 一 个 集合 ， 我 们 总 能 在 它们 中 间 找 到 可 数 多 个 区 间 ， 使 得 所 有 区 
间 的 并 集 组 成 样本 空间 Q 王 及 。 这 就 可 以 解释 为 什么 波 雷 尔 o- 域 在 概率 空间 RBR), P) 中 
会 非常 重要 ， 它 包括 实 线 上 所 有 的 开 区 间 、 闭 区 间 、 半 开 半 闭 区 间 ， 以 及 孤立 点 。 在 许多 
实际 应 用 中 ， 我 们 不 仅 对 区 间 感 兴趣 ， 而 且 通 过 定义 波 雷 尔 o- 域 我 们 可 以 确信 ， 在 集合 运 
算 中 事件 空间 是 闭合 的 (最 小 的 oc- 域 包含 了 及 上 所 有 的 开 区 间 )。 孤 立 点 的 概率 肯定 是 0， 
任意 一 个 区 间 可 以 被 赋 非 零 的 概率 值 ， 并 且 满 足 概率 论 公理 。 这 就 引出 了 第 3 章 将 要 介绍 
的 累积 分 布 函数 (cdf) 和 概率 密度 函数 (pdf)。 波 雷 尔 o- 域 是 短 集 的 一 个 子 集 ， 即 B(R)C 
PC(B)， 并 且 从 基数 上 比较 3 比 2,“ 更 加 小 ”。 无 限 可 数 集合 (比如 27 ) 与 寡 集 的 基数 是 相同 
的 ， 见 表 2-4, 


2.15 RBA MFR 


在 前 面 提 及 波 雷 尔 o- 域 对 于 概率 空间 在 实际 应 用 中 是 足够 的 ， 因 此 我 们 用 B(R) 来 描 
述 及 上 的 事件 。B(RR) 并 非 是 及 的 唯一 子 集 ， 实 际 上 存在 着 无 限 多 个 及 的 子 集 ， 但 它们 并 不 
一 定 都 是 可 测 的 ， 也 并 不 能 都 被 赋予 概率 值 。 区 间 [0,1] 上 所 有 的 开 区 间 生 成 了 波 雷 尔 o 
域 。 对 于 其 中 任意 的 开 区 间 (a.b), HL 测度 为 L(a,b) 一 0 一 ay pa， 并 且 该 测度 不 会 大 
于 1。 康 托 尔 集合 是 区 间 [0.1] 上 的 另外 一 个 子 集 ， 它 不 同 于 波 雷 尔 o- 域 并 且 是 可 测 的 ， 


图 2-13 连续 样本 空间 中 的 一 段 区 间 被 赋 非 零 的 概率 值 ， 
孤立 点 的 概率 为 0。 通过 区 间 ， 样 本 空间 Q 被 划 
分 为 了 可 数 的 (有 限 多 ) 事 件 
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而 且 工 测度 为 0。 一 般 而 言 ， 描 述 出 及 上 不 可 测 的 子 集 比较 困难 。 我 们 用 一 个 例题 来 描述 ， 
基于 构造 法 生成 维 塔 利 集合 ， 该 集合 的 形式 非常 复杂 ， 在 实际 情况 下 几乎 不 会 遇 到 ，。 
( 维 匿 利 集合 ) 再 次 考虑 闭 区 间 [0,1], 我 们 将 要 构造 出 一 个 不 可 测 的 子 集 
(Billingsley, 1986), < 
为 讨论 方便 起 见 ， 我 们 采用 工 测度 L(a,6) 。 如 果 工 和 y 的 差 是 有 理 数 ， 我 们 就 定义 这 
两 个 数 是 等 价 或 相似 的 ， 记 作 : xz 一 y， 如 果 x 一 y€EQ。 采用 如 下 的 步骤 来 构造 维 塔 利 
集合 。 
e 对 于 每 个 ERR， 定 义 于 集 {y: z 一 >y)。 这 样 一 个 子 集 称 作 z 的 等 价 类 (equivalence 
class)。 构 造 这 些 类 的 过 程 ， 等 效 于 每 个 x 只 属于 的 一 个 等 价 类 。 如 果 z 同时 属于 
多 个 类 ， 那 么 这 些 类 一 定 是 同一 个 等 价 类 。 所 有 的 有 理 数 Q 必 人 然 在 同一 个 等 价 类 中 。 
因为 所 有 的 xER 是 可 数 的 ， 并 且 这 些 等 价 类 是 不 相交 的 (它们 必然 是 不 相交 的 ， 否 
则 根据 定义 两 个 有 重生 部 分 的 等 价 类 必然 是 同一 个 等 价 类 )， 所 以 这 些 等 价 类 构成 
了 RR 的 一 个 划分 < 
e 对 于 每 一 个 等 价 类 ， 在 区 间 [0,1] 之 间 选 择 一 个 “有 代表 性 ”的 值 。 根 据 选 择 性 公理 
(axioms of choice) 这 点 是 可 以 做 到 的 。 对 于 类 而 言 ， 在 区 间 [0,1] 之 间 选 择 的 是 哪 
个 具体 的 数值 并 不 重要 。 比 如 ， 对 于 一 个 有 理 数 集 Q@， 我们 可 以 选择 1/2( 其 他 一 些 
数值 也 是 可 以 的 ， 比 如 1/2，2/3 等 )。 
e 用 V 来 表示 区 间 [0,1] 中 这 些 有 代表 性 的 数值 集 ， 该 集合 组 成 了 维 塔 利 集合 。 通 过 
这 种 方法 ， 我 们 构建 了 区 间 [0,1] 上 一 个 非常 特殊 的 子 集 ， 该 集合 是 不 可 测 的 : 维 
塔 利 集合 与 波 雷 尔 和 康 托 尔 集 合 不 同 ， 它 是 没有 长 度 的 。 
K 2-6 列举 了 集合 V 中 的 一 些 元 素 。 每 个 等 价 类 都 是 无 限 可 数 的 ， 因 为 它们 是 根据 有 
理 数 定义 的 ， 而 有 理 数 集合 是 一 个 可 数 集合 。 每 个 等 价 类 的 基数 同 有 理 数 集 Q@ 相 同 ， 都 是 
3 。 但 是 等 价 类 的 数目 ， 以 及 维 塔 利 集合 本 身 是 不 可 数 的 。 


2-6 ” 维 塔 利 集合 中 的 一 些 元 素 


[0,1] 中 一 些 有 代表 性 的 数值 等 价 类 的 例子 


假定 V 是 可 数 的 ， 将 其 工 测 度 记 作 工 (V)。 我 们 通过 一 个 矛盾 来 证 明 这 个 假设 是 错 














等 价 类 的 例子 
有 理 数 集 @ 
xs x— 1/2, x+30, = 


[0,1] 中 一 些 有 代表 性 的 数值 





e—2 


eo MRHARARAUT EB. AHRAELVdAlvt+a2:vEV},cER. AW 
L 测度 是 一 个 平移 不 变量 (见习 题 2-19)， 因 此 对 于 任意 xz 都 有 L(V(z))=L(V)。 

e 对 区 间 [一 1,1] 中 的 有 理 数 进行 排序 ， 记 作 {9g,)}，nEN。 构 造 集合 {V(g,)}, HV 
平移 有 理 数 g, 得 到 V(g,)。 平 移 量 是 一 个 有 理 数 ， 可 以 确保 平移 后 得 到 的 仍然 是 同 
一 种 类 型 的 等 价 类 。 通 过 采用 对 称 区 间 [一 1,1], 原始 区 间 [0,1] 在 两 个 方向 上 都 得 
到 了 拓展 ， 得 到 的 区 间 [一 1,2] 可 用 于 {V(g,)})。 

e 集合 {V(q,)} 是 不 相交 的 ， 这 点 可 以 通过 下 面 的 方法 得 到 验证 。 设 > RO V (q,.)) 和 
{V(g,)) 的 公共 元 素 (m 关 n)， 意 思 是 对 于 某 些 rn, r, EV， 该 公共 元 素 可 以 写成 
Zz 二 Xn 十 qm 二 x 十 qs,。 整 理 该 等 式 可 得 Im Ln =n 一 qs EQ， 这 意味 着 z.~z,. 
是 它们 不 可 能 属于 同一 个 类 ,根据 V 的 构造 可 知 ，V 的 每 个 元 素 只 能 来 自 于 不 同 的 
类 ， 因 此 {V(g,)) 一 定 是 不 相交 的 ， 得 证 。 

e 这 步 最 关键 : 因为 g, EL[ 一 1，1]， 可 得 : 


[0,1] S|) Vig. S< [—1,2] (2-105) 
n=] 
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通过 上 面 的 方法 对 维 塔 利 集合 进行 平移 ， 意 味 着 {V(g,)} 及 其 可 数 并 集 都 不 可 能 超出 


区 间 [一 1,2] (对 应 于 上 式 第 二 个 己 符 号 )， 这 
点 在 式 (2-105) 中 是 很 显然 的 。 对 于 第 一 个 三 符 
号 ， 该 平移 确保 [0,1] 中 所 有 元 素 都 属于 不 相 
交集 合 {VYCqa,) } 的 并 集 。 这 点 可 以 通过 下 面 的 方 
法 来 验证 。 设 是 [0,1] 中 任意 一 个 实数 ， 根 
据 维 塔 利 集合 的 构造 过 程 可 知 ， 对 于 等 价 类 中 
的 元 素 zx， 存 在 一 个 vEV， 使 得 zx 一 5" 是 区 间 
[一 1,1] 中 的 一 个 有 理 数 q. 对 V 进行 平移 ， 平 
移 量 为 [一 1,1] 中 的 有 理 数 ， 这 样 可 以 确保 [0， 
1 ] 中 的 所 有 数组 成 公式 (2-105) 中 并 集 的 一 个 


对 于 区 间 [0,1] 构 造 
维 塔 利 集合 V 


0 1 
对 所 有 的 有 理 数 排序 
-1 0 1 
对 集合 V 中 的 元 素 进行 平移 ， 平 移 量 为 [-1,1] 


上 所 有 的 有 理 数 ， 平 移 后 的 元 素 都 包含 在 扩展 
区 间 [-1,2] 里 面 


子 集 。 
e 图 2-14 总 结 了 各 种 类 型 的 区 间 。 因 为 


2=1 


2-2 


a3 


2-4 


{V(gq,)} 是 不 相交 的 ， 该 并 集 的 工 测度 为 : 


L(U va.) = SL,» 
n=l n=1 


根据 式 (2-105) 可 知 : 


L({0,1]) = 1 L( U Veg) ) <3 = L 12D 
a=] 


— 


“1 0 1 2 


[0,1] 区 间 上 的 所 有 实数 都 
包含 在 平移 后 的 并 集中 
2-14 fJ 2-54 中 用 到 的 区 间 ， 用 于 描述 维 
塔 利 集合 


(2-106) 


(2-107) 


在 集合 V 上 进行 平移 是 非常 有 必要 的 ， 这 样 [0,1] 中 所 有 的 实数 都 被 包含 在 它们 的 
并 集 里 ， 使 得 我 们 可 以 对 可 数 并 集 的 测度 生成 一 个 非 零 下 限 L([0,1]) = 1。 
e 因为 工 测度 是 一 个 平移 不 变量 ， 我 们 期 望 原始 维 塔 利 集合 有 如 下 结论 : 


1< SLM <3 


(2-108) 


但 是 对 于 常数 L(V)， 对 其 无 限 累 加 求 和 得 到 的 结果 不 可 能 在 区 间 [1,3] 中 ， 这 就 
是 一 个 矛盾 。 如 果 求 和 区 间 的 序号 是 nw， 那 么 L(V) 是 0 同时 求 和 为 0, 或 者 L(V) 


是 非 零 同 时 求 和 是 无 穷 大 。 


这 个 矛盾 证 明了 维 塔 利 集合 不 可 能 有 长 度 。 通 过 这 种 方式 构造 的 集合 ， 使 得 上 测度 为 
平移 不 变量 的 事实 被 推翻 了 ， 很 显然 ， 这 说 明 最 开始 的 可 数 假设 是 不 成 立 的 。 

在 第 3 章 中 我 们 还 会 讲 到 连续 样本 空间 ， 并 将 定义 连续 随机 变量 ， 包 括 一 些 非常 著名 
的 参数 “家族 ”， 它 们 在 许多 实际 问题 中 获得 了 广泛 的 应 用 。 

习题 
集合 运算 


请 计算 给 出 样本 空间 的 寡 集 P(2) : 

(a) Q= (—1, 0, 1}, 

(by) A={1, 2, 3, 4}, 

(c) Q= [[0, Wd, [ls Ds [2;.c°)}. 

iff #8 HE 4E OE WR CABO = AS UBS UC, 
并 画 出 ((AUB)O)"。 

已 知 a = [— 10,10],A = [— 1,1], B = 
[— 5.0], 请 计算 (a) AB, (b) A UB, 
(c) AGB. 

已 知 Q=[ 一 10,10]X[ 一 10,10]; A = [0,3] x 
[一 10;10], B = [一 2,1] x [一 10,0], 请 计算 
(a) A‘B, (b) AB‘, (c) B—A, 


2-5 


BON=R, ELBA E = Tz; z>2>6)> E,= 
(z, |x-1|<5}, E;=(z#c 224), 请 计 
算 (a) EErr Tb) Er UE, Cc) EE, 
(d) E; U E; 。 

请 尝试 不 使 用 维 思 图 证 明 德 摩根 定律 。 
(a) (AUB) =A‘B‘, (b) (AB)‘=A‘ UB’. 
请 尝试 不 使 用 维 恩 图 证 明 下 面 的 等 式 : Ca) AU 
B=(A ®© BOANB), (b) AN(B @ C) = 
(AN B@ANC). 

稍 卡 儿 乘 积 适 用 于 有 限 个 元 素 的 集合 : MR 
A = (arsa, B = (br,b y, BAA X B = 
{{ay obi} lai 92} {az sbi } + {az bz} l. 请 证 明 
一 般 情况 下 的 {A,B,C}. (a) AX(BUQ= 


2-10 


2-14 


(AXB)W(AXC), (b) |AxB|=|A| |B]. 


已 知 样本 空间 = {一 2, 一 1,1,2}。(a) 对 于 事 
{F A= {—1,1) 和 B= {一 2,2}), 证明 {$,0,A， 
B) 是 一 个 域 。(b) 对 于 事件 C= 二 {一 2， 一 1}， 
D=1, E=2, 证 明 {$,0;C,D,E} 不 是 一 个 
域 。(c) 可 否 通 过 对 (¢.0.C,D) 添加 事件 来 
构建 一 个 非 平凡 域 , 并 且 其 基数 小 于 
| PCD | =16. 

设 样 本 空间 0 = [0,10]; 判 断 下面 的 集合 是 
否 是 域 ? (a) {[0,z]) 类 型 的 所 有 区 间 的 集 
合 。(b) ([z,y]) 类 型 的 所 有 区 间 的 集合 。 
WF: MF: 是 样本 空间 2 的 o- 域 ,判断 
FNF: 是 否 是 一 个 o- 域 。 

EQ = (一 2, 一 1,051,2), 对 于 事件 A = (—2, 
—1,0), B= {1,2},C= {—2,1,0}, D= {—1, 
2), 判断 下 面 哪个 是 域 ? (a) {¢,0,A,B} N ($, 
NC, DY (b) {$,0,A,B} U {$,0,C,D}, 

Mt FRA E|] (O, Z). W 2 被 划分 为 了 有 
限 个 集合 (E... Ente 例如 ， 一 种 可 能 的 
R Q =R, E = (一 so — 1], E, = 
(一 1, 一 1], E = (1,2%). 请 证 明 一 般 性 的 
结论 : UE, EF, ARNE, EF. 

请 给 出 样本 空间 Q = [0,10] 的 最 小 域 ， 以 
{$,2,0, [0.2)) 开头 ,并 确定 这 个 域 的 
原子 。 

已 知 样本 空间 Q = {1,2,3,4}, 以 {#,0,1， 
{3,4}}》 开头 ， 再 次 重复 求解 习题 2-14。 

请 证 明 自 然 数 集 W 是 一 个 波 雷 尔 集 合 ， 同 
样 的 ,证 明 无 理 数 集合 及 一 Q@ 也 是 一 个 波 雷 
尔 集合 。 


给 出 下 面 这 些 样本 空间 的 计数 测度 : (Ca) Q, = 
(1,---,10) U {1,15,18}, (b) Q = 11,2,3) X (2, 
6), (c) Q = Z* N [0.5]. 

给 出 下 面 这 些 样本 空间 的 工 测 度 : Ca) Q, = 
[O51] X [2:5]: (by Q = [1 ,2] X [10,123 x 
[2,3] x [—2,0], (c) G, =N N [0,10]. 
É E AS |a] O=RO—TS 3 4, j UE BB 
对 于 所 有 的 ac Q, L(E+a)=L(E), th i 
是 说 二 测度 是 一 个 平移 不 变量 。 

已 知 区 间 集 合 {|z 一 n | 三 1/3"} 定 义 在 R+ 
L. nEN， 例 如 当 n=1 B, 区间 为 [2/3， 
4/3]. 请 计算 这 个 集合 的 工 测度 。 

请 证 明 式 (2-30) 给 出 的 标准 高 斯 测度 是 一 个 
测度 。 

Ë E E (TR, BIR) 的 一 个 事件 ， 请 证 明 计 
数 测度 C(E 门 Q@) 是 可 数 可 加 的 。 

请 证 明 狄 拉克 测度 6,(E) 是 一 个 概率 测度 ， 
并 解释 为 什么 EE 是 Q 中 一 个 几乎 必然 
事件 。 
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基本 概率 论 


2-24 


2-25 


2-27 


2-28 


对 于 一 般 事件 A AB, EW: (a) P(AU 
B)>1— P(A')— P(B); (b) P(A)< P 
(B). 

对 于 一 般 事 件 EE 和 下 ,请 证 明 : (a) P(E 一 
F)=P(E)— P(EF), (b) P(E)+P(F)+ 
PCEF‘)>1. 

请 证 明 下 面 的 不 等 式 : 


N 
P(E, U … U Ew) < >) PCE,) 


1 
(2-109) 
(a) 请 证 明 Bonferroni 不 等 式 : 


N 
P(E = En) >1— >) PE) 


(2-110) 
(b) 请 证 明 下 面 的 不 等 式 ，; 


N 
P(E En) > >) P(E,) — N+ 1 (2-111) 
1 


已 知事 件 E CE, C, 定义 巨 是 它们 的 并 
集 。 请 根据 概率 论 公理 证 明 


limP(E,) = P(E) (2-112) 


条 件 概 率 、 全 概率 和 独立 性 


2-29 


2-30 


2-33 


2-35 


对 于 掷 骨 子 试验 ， 设 下 一 5，F 一 (至 少 为 3}， 
G= { 奇 数 }。 请 计算 下 面 的 概率 值 : 
(a) P(E|F), (b) P(G|F), (c) P(E| FG). 
请 判断 下 面 命题 的 真 伪 。(a) 如 果 P(E|F)= 
P(E|F“),， 那么 玉 和 下 是 相互 独立 的 。(b) 如 
果 P(E|F) 宇 P(E), 那么 P(F| E)>P¿(F), 
假设 一 个 机 器 由 5 个 独立 的 器 件 组 成 ， 每 个 
器 件 失效 的 概率 为 0.01。(a) 计算 器 件 都 不 
失效 的 概率 ， 以 及 器 件 全 部 失效 的 概率 。 
(b) 计算 至 少 有 两 个 器 件 同时 失效 的 概率 。 
对 于 投掷 两 个 鹏 子 的 试验 ， 设 E= (44 — + 
般 子 点 数 为 偶数 }， 下 = {点数 之 和 为 10), 
G 二 {第 二 个 角 子 的 点 数 为 4} ， 请 判断 这 些 
事件 是 否 是 相互 独立 的 。 

设 事件 EE 表示 一 个 人 患 某 种 疾病 。 当 一 个 
病人 患 这 种 疾病 时 ， 设 某 医 学 诊断 测试 的 
错误 概率 为 0.01。 设 事件 下 表示 该 测试 呈 
阳性 ， 并 假设 PCF |E = PCF |E)= 
0. 05。 如 果 一 个 人 患 这 种 疾病 的 概率 为 0. 01 
(不 进行 任何 测试 的 先 验 知识 )， 请 计算 
P(E|Fe)。 

WFE RMF 是 相互 独立 的 ， 请 判断 : (a) E 
和 F 是 否 也 是 相互 独立 的 ? (b) E 和 下 是 
否 是 相互 独立 的 ? 

NFEE, FAG WEH: (a) P(E|G)= 
P(EF|G)+P(EF |G). (b) 如 果 ECF, 
P(E|G)<P(F|G). 
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2-36 ”对 于 事件 E, F 和 G， 请 证 明 : (a) MR 
FCE, P(E|F)=1. (b) P(EF |G) = 
P(E|FG)P(F |G). 

2-37 ”请 证 明 或 反驳 下 面 的 结论 : (a) P(A|B)>P 
(A)>P(B|A)>P(B), (b) P(A) >P(B)>P 
(A|C)>P(B|C). (c) 如 果 P(A) =1/3, 
P(AUB)=1/2, 那么 1/6<P(B)<1⁄2, 

2-38 三 个 外 表 完 全 相同 的 盒子 装 有 若干 彩色 球 ， 
包括 蓝 球 (B) ， 红 球 (R) 和 黄 球 (Y) 。 第 一 个 
盒子 中 有 15 个 蓝 球 ，26 个 红 球 ，32 个 黄 球 ; 
第 二 个 盒子 中 有 22 个 蓝 球 ，10 个 红 球 ，18 
个 黄 球 ; 第 三 个 盒子 中 有 10 个 蓝 球 ，23 个 
红 球 ，30 个 黄 球 。 如 果 有 一 个 球 被 挑 出 ， 请 
计算 下 面 的 概率 : (a) PCB). (b) P( 第 1 个 
盒子 |R)，(c) P( 第 2 个 盒子 | BRY). 

有 限 样本 空间 的 概率 

2-39 FURTHER. 试 计算 下 面 这 些 概率 : 
(a) PONA EF AY BCAA TAL). Cb) P( 四 个 
RF AYA BABA TA). Co) P( = 4 8 T wa 8 
相同 ) . 

2-40 在 由 NN 个 大 组 成 的 人 群 中 ,请 计算 至 少 两 
个 人 生日 是 同一 天 的 概率 。( 假 设 一 年 有 
365 R, HURAE.) 

2-41 某 考 试 中 有 5 个 选择 题 ， 每 题 有 4 个 选项 。 
如 果 一 个 学 生 完 全 靠 猜测 来 作答 , 请问; 
(a) 全 部 猜 错 的 概率 是 多 少 ? (b) 猜 对 三 个 
或 三 个 以 上 的 概率 是 多 少 ? 

2-42 一 个 钱包 里 面 有 4 张 一 美元 的 钞票 ，6 张 十 
美元 的 钞票 。 先 取出 一 张 钞票 ， 然 后 将 这 
张 钞票 放 回 钱包 ， 同 时 还 放 入 3 张 相 同 面值 
的 钞票 ， 请 计算 下 面 这 些 概率 ; (Ca) P( 两 次 
共 取 出 11 美元 )，(b) P( 三 次 共 取 出 30 美 
Jü), (c) P( 四 次 共 取 出 22 美元 ) 。 

2-43 对 于 一 个 三 位 数字 CIiQ2Q5， 第 一 位 数字 的 
FERE (0,1), 第 二 位 和 第 三 位 数字 的 字 


进一步 阅读 


本 书 中 主题 的 进一步 讨论 可 参考 以 下 文献 。 集 合 
理论 : Peebles (1993). Fiesld: Kingman 和 Taylor 
(1966), Wong 和 Hajek (1985), 以 及 Gray 和 
Davisson (2004)。 测 量 理 论 ; Arthreya 和 Lahiri 
(2006) ,Billingsley(1986), 以 及 Kingman 和 Taylor 


母 表 是 10,…,5}。 计算 下 面 这 些 概率 : 
(a) P(a,;aza;=100), (b) P(aiaza;>100), 
(c) P(100<a aza; <150). 

2-44 ”一 个 电路 包含 8 个 电阻 ，2 个 电感 和 3 个 电 
容 。 已 知 该 电路 上 有 三 个 元 器 件 被 损坏 了 ， 
计算 下 面 这 些 概 率 : (a) P( 只 有 一 个 电容 被 
损坏 )，(b) P( 至 少 有 一 个 电感 被 损坏 )。 
(c) P( 没 有 电阻 被 损坏 )。 

2-45 ”在 扑克 牌 游戏 中 手 里 握 有 5 张 牌 ， 计 算 下 面 
这 些 概率 : (a) POS 个 红心 ) (俗称 同 花 )。 
(b) PCS 个 连续 牌 )( 俗 称 同花顺 )，(c) POS 
张 牌 的 点 数 都 不 同 ) 。 

2-46 一 个 盒子 里 面 装 有 若干 个 外 表 完 全 相同 的 
球 ， 只 能 靠 颜 色 来 进行 区 分 ， 包括 4 个 红 
球 ，5 个 蓝 球 和 8 个 黄 球 。 如 果 从 里 面 选 出 
三 个 球 ( 非 替代 性 的 )， 计 算 下 面 的 概率 值 : 
(a) P(3 AHER), (b) P( 没 有 黄 球 )，(c) P 
(3 个 不 同 颜色 的 球 )。 

247 ERRAR. EF ak e R: 
(a) P( 点 数 之 和 大 于 8), (b) P( 点 数 之 和 位 
于 4 和 6 之 间 )，(c) P( 两 个 点 数 之 差 为 士 2) 。 

2-48 PROMI N 次 。(a) 以 N 来 表示 组 
A 2} 至 少 出 现 一 次 的 概率 。(b) 当 N 
取 多 少时 可 使 该 概率 值 超过 0. 9。 

2-49 ”一 个 样本 空间 含有 N 个 元 素 ， 请 证 明 从 中 
选 出 M 个 元 素 ( 替 代 性 选择 ) 的 组 合 数 目 


lela A 


M 

仿真 作业 

2-50 请 使 用 MATLAB 中 的 rand 函数 ,通过 对 
区 间 [0;1] 的 划分 来 模拟 连续 投掷 100 Ve HR 
子 的 过 程 ， 并 绘制 出 该 试验 的 两 个 不 同 
现实 。 

2-51 使 用 randperm 来 产生 n=5 个 整数 的 随机 排 
列 。 请 编写 一 个 程序 来 统计 所 有 5! 种 排列 
都 被 随机 生成 需要 的 仿真 次 数 。 


(1966)。 概 率 : Bertsekas 和 Tsitsiklis (2002), 
Dougherty( 1990) ,Golberg(1984), Miller 和 Freund 
(1977), Papoulis (1990), Peebles (1993), Ross 
(1976), Williams (1991). LA & Yates 和 Goodman 
(2005). 


第 3= 
随机 变量 


3.1 引言 


第 2 章 介绍 了 测度 理论 ， 还 将 o 域 下 中 事件 EE 的 概率 定义 为 了 一 种 测度 ， 该 测度 将 区 
间 [0,1] 中 的 一 个 数字 赋 给 该 事件 。 很 容易 从 数学 上 将 大 中 的 抽象 事件 映射 到 实 线 尺 上 。 
在 大 多 数 应 用 中 可 以 直接 在 及 上 讨论 事件 ， 而 不 必 理 会 底层 的 抽象 样本 空间 2。 在 许多 工 
程 问题 中 需要 用 到 及 上 定义 的 随机 变量 ,一 个 原因 是 工程 问题 往往 通过 数值 来 进行 定义 和 
评估 (这 与 2 中 的 抽象 量 完全 不 同 )， 另 外 一 个 原因 是 因为 区 间 在 连续 随机 试验 中 非常 重 
要 ， 这 在 第 2 章 中 已 经 得 到 了 讨论 。 对 于 连续 随机 试验 ， 不 可 能 给 独立 点 赋 非 零 的 概率 
值 ; 而 非 零 概率 的 事件 是 通过 及 上 的 区 间 来 进行 定义 的 ， 这 样 才能 满足 概率 论 三 大 公理 。 
波 雷 尔 o 域 8(R) 是 最 小 的 o 域 ， 它 由 及 上 所 有 的 开 区 间 生 成 ， 并且 所 有 的 波 雷 尔 集合 可 以 
以 一 致 的 方式 被 赋予 概率 值 。 

本 章 的 一 个 目的 是 定义 从 抽象 样本 空间 2 到 实 线 及 的 一 个 映射 ， 并 以 此 得 出 随机 变量 
XX。 男 外 一 个 目的 是 描述 给 8B(RR) 中 事件 的 各 种 概率 赋值 方法 ， 即 各 种 实际 应 用 中 的 模型 。 
所 有 的 概率 都 可 以 从 累积 分 布 函 数 (cdf) 中 推导 出 来 ,定义 为 Fx(z) 会 P(Xx),， 表示 X 
位 于 半 开 半 闵 区 间 ( 一 se，z] 内 的 概率 。 根 据 概 率 论 三 大 公理 ， 可 知 0 委 Fx(Cz) 委 1， 当 zx 
在 及 上 进行 变化 时 ， 根 据 Fx(z) 的 表达 式 或 形状 就 可 定义 出 某 种 特定 的 随机 变量 。 图 3-1 
给 出 了 离散 和 连续 随机 变量 的 例子 。 离 散 随 机 变量 的 累积 分 布防 数 必然 是 一 个 “阶梯 ” 函 
数 ， 而 连续 随机 变量 的 累积 分 布 函数 是 连续 且 平 滑 的 。( 稍 后 给 出 图 3-1a 中 圆圈 的 定义 。) 
两 种 类 型 的 累积 分 布 函数 都 是 非 递 减 的 。 在 本 章 中 ,我 们 将 会 看 到 许多 类 型 的 Fx (z), È 
们 都 很 重要 ， 因 为 在 实际 问题 中 为 了 给 事件 的 “可 能 性 ? 建 模 ， 将 会 用 到 某 个 特殊 的 概率 赋 
值 方法 。 


P(X= x) 





a) b) 
图 3-1 累积 分 布 函数 Fx(z) 的 一 些 例子 。a) 离散 随机 变量 ; b) 连续 随机 变量 


3.2 函数 和 映射 


之 前 概率 测度 被 用 到 了 事件 空间 {2， 和 大) 上 ， 它 满足 三 大 特性 ， 并 且 可 以 提供 这 些 事 
件 的 容量 信息 。 这 些 特性 被 称 作 概 率 论 三 大 公理 。 维 塔 利 集合 是 及 的 一 个 不 可 测 子 集 的 例 
子 。 男 一 方面 ， 波 雷 尔 o- 域 是 可 测 的 ， 并 且 很 容易 用 工 测度 来 进行 描述 。 

GED Gk 8 #4) [ab] BR) F Ñ — Á HI É F|, a<b € R, TH: 
(j )L(a, b)=b—a>0, ( j| )L($#)=0, (HDiF [c,d] 是 另外 一 个 区 间 ，c 志 dER， 并 
ERE [a,b] Neod] = #, WA Llad] U besdi) = Liab DI + L([e, d]y = (b= a) + 
C= < 
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定义 (可 测 集 合 ) ”可 测 集 合 是 指 Q 中 元 素 的 集合 ， 并 且 满 足 测度 的 三 大 性 质 。 如 果 丰 
是 事件 的 一 个 可 测 集合 ， 那 么 RF 是 一 个 可 测 的 事件 空间 。 

在 定义 可 测 函 数 之 前 ， 我 们 再 次 研究 抽象 样本 空间 Q。 对 于 有 限 样 本 空间 ， 我 们 可 以 设 
想 2 的 一 个 简单 例子 ， 它 的 元 素 不 直接 来 自 于 实 线 。 这 包括 投掷 一 枚 硬币 或 一 对 骨 子 ， 以 及 
其 他 很 多 方法 。 对 于 无 限 可 数 试验 和 不 可 数 试验 ， 类 似 的 非 数 值 例子 不 太 容 易 想象 。 对 于 连 
续 样 本 空间 ，Q 可 以 是 所 有 正弦 波形 Asin(2xf1) 的 集合 , t € [0,T], A € [0,1], Ak. 28 
含 了 无 限 多 个 正弦 ， 这 些 正弦 的 时 延 都 是 T， 频 率 都 是 ff， 但 幅度 是 连续 的 。 当 然 ， 这 个 试 
验 与 数值 样本 空间 Q = [0,1] 其 实 是 等 效 的 。 即 使 我 们 采用 (AF) 来 表示 一 个 抽象 的 事件 空 
间 ， 目 的 就 是 为 了 定义 一 个 叫做 随机 变量 的 可 测 函 数 ， 而 在 实际 情况 下 “原始 的 ”样本 空间 往 
往 是 2= 尺 (也 就 是 说 ， 在 特定 的 应 用 场合 ， 基 础 绝对 样本 空间 有 可 能 不 存在 )。 
一 个 可 测 事件 空间 ，.F 是 样本 空间 Q, 的 一 个 o- 域 。 我 们 希望 给 出 从 Q, 的 输出 到 Q, 的 一 
个 映射 ， 并 且 第 一 个 事件 空间 中 的 测度 可 以 搬移 到 第 二 个 事件 空间 中 去 。 

定义 (可 测 函 数 ) BK g(w) 的 定义 域 为 Qi， 值 域 为 Q, ， 如 果 对 于 任意 事件 AC7,. 
下 面 的 逆 象 成 立 ， 则 g(w) 是 一 个 可 测 函 数 : 

gt (A) = {w:g(w) € A} € Z, (3-1) 

Z, 中 事件 的 逆 象 必须 通过 一 个 可 测 函 数 被 包含 在 原始 的 MF, BH, RHEL, — 4 h 
数 总 可 以 将 wi € Q, 唯一 映射 到 o, €C Q,  ， 但 对 于 逆 象 该 结论 不 成 立 。 图 3-2 给 出 了 一 个 可 
测 函 数 的 直观 表示 ， 可 看 出 P FE4F6 68 42 F, 里 面 。 因 为 我 们 的 目的 是 要 给 大 中 
的 事件 赋予 概率 值 ， 也 就 是 将 下 。 中 对 应 事件 的 概率 值 进行 映射 ， 此 时 只 有 关于 丰 | 的 逆 象 
是 闭合 的 才能 保证 满足 概率 论 三 大 公理 。 





图 3-2 ”两 个 样本 空间 之 间 一 个 可 测 函 数 的 直观 表现 ，BE 大 , 的 输出 映射 到 AE 天, 的 元 素 ，A 的 逆 
象 的 元 素 并 不 都 属于 妃 ， 但 仍然 属于 万 





UER (可 测 函 数 ) 对 于 有 限 样本 空间 Q, WROMF, ERREP), WAAN RH 
到 2。 的 任意 一 个 函数 都 是 可 测 的 。 这 个 结论 是 很 显然 的 ， 因 为 F 中 任意 一 个 事件 的 逆 象 
都 属于 FF， 根据 定义 ， 在 壬 集中 不 可 能 有 “遗漏 的 ? 子 集 。 a 
eee (FTW AROURMRTREA A, — 4 f k. BJ oR Fi = AM {1,3,5}, (254, 
6}}。 在 例 2-23 Rl 238 32 E — ` oR, RECFABRBARE. X-T F Q, AD 的 平 
凡 了 映射 
glw) =w, w= 1,2,3,4,5,6 一 一 (3-2) 

Fo EO, FG 3 0 3 E, 3ERH|7Z,|=2°=64, RER, Z, 中 部 分 事件 的 逆 象 不 可 能 是 
Fi 中 的 事件 。 比 如 ，3 的 逆 象 就 不 是 下; 中 的 事件 ， 尽 管 3 是 该 试验 的 一 个 输出 结果 ， 这 
个 特殊 的 Fi 把 独立 的 输出 结果 排除 在 外 。 通 过 选择 太 ! 为 老 集 的 一 个 子 集 ， 许 多 潜在 的 事 
件 被 排除 在 该 试验 之 外 。 4 

对 于 一 个 可 测 函 数 ， 需 要 注意 下 面 几 点 : 

e ARM g(w) 是 对 样本 空间 Q, 中 所 有 的 元 素 ( 输 出 ) 进 行 定义 的 ， 并 不 是 对 F, 中 的 

事件 。 

e 一 个 郴 数 的 可 测 性 取决 于 两 个 样本 空间 中 特定 的 天 AF. MRE PERT oh 

被 修改 了 ， 也 可 能 会 导致 函数 的 可 测 性 发 生变 化 。 
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对 于 上 面 最 后 一 点 ， 假 设 例 3-3 中 Z, = ($.0.) 为 一 个 平凡 的 o 域 。 此 时 ，g(w) 是 一 
个 可 测 函 数 。 实 际 上 ， 从 Q, 到 Q, 的 任意 一 个 映射 都 可 能 是 可 测 的 ， 因 为 对 于 中 的 两 
个 事件 ， 有 下 面 的 结论 : 
g($)=(wg(w) = $) = $ € Z, (3-3) 
ECON (eorgGo6) = A.) = (1,2,3,4,5,6) =A € Fi (3-4) 
GED (可 测 函 数 ) 在 例 3-3 中 ， 很 显然 存在 无 数 个 不 可 测 的 映射 。 下 面 的 函数 是 可 
测 的 ， 如 图 3-3 所 示 。 
0, w= 1,3,5 
I g(w) = 1 ep = Bale (3-5) 
这 个 函数 将 原始 的 样本 空间 压缩 为 了 一 个 Qs = (0.1) 的 二 元 试验 : 我 们 只 关心 乳 子 的 点 
数 是 奇数 还 是 偶数 。 假 设 该 e- 域 的 宕 集 使 得 F, = {$8,023,0,1}, 可 以 看 出 这 个 映射 是 可 
测 的 : 
g 1 (0) ={w:g(w) = 0) = (1,3,5) € Z, (3-6) 
g (1) ={o:g(w) = 1} = {2,4,6} € Z, (3-7) 





图 3-3 例 3-4 中 的 映射 


从 上 面 这 些 有 限 样本 空 集 的 例子 可 知 : 
e 如 果 有 输出 (基本 事件 ) 被 排除 在 之 外 ， 此 时 很 容易 找 出 不 可 测 的 函数 ， 尤 其 当 
Fr ARAL 

e 如 果 O, 被 压缩 为 一 个 元 素数 目 更 少 的 2;， 此 时 的 函数 往往 是 可 测 的 。 

在 例 3-4 中 上 面 这 个 性 质 就 很 明显 ， 在 那里 g(w) 是 一 个 多 对 一 的 映射 。 对 于 无 限 可 数 
以 及 不 可 数 ( 连 续 ) 样 本 空间 ， 我们 期 望 也 有 类 似 的 结论 成 立 。 < 

定义 (随机 变量 ) 随机 变量 X 是 Q 到 实 线 及 的 一 个 可 测 函 数 。 对 于 wEQ， 该 函数 记 
作 X(Co) 。 

抽象 样本 空间 被 记 作 NFP). 随机 变量 X 对 应 的 概率 空间 是 {及 ，B(R)，Px}, 其 
PBR) R SER EHER oth. Px 是 B(R) 中 所 有 事件 的 概率 测度 。 因 为 .X(w) 是 可 测 
的 ， 所 以 8B(RR) 中 任意 一 个 事件 一 定 存在 一 个 位 于 下 中 的 逆 象 。 也 就 是 说 ， 

X !((— co,z]) = {w:X(w) < z) € Z (3-8) 

请 注意 ， 在 第 1 EF, REH X(w) 来 表示 z(i) 的 傅 里 叶 变换 。 尽 管 从 上 下 文 很 容 
易 区 分 记号 的 具体 含义 ， 但 我 们 很 快 就 会 在 映射 中 省 去 X(Co) 的 自 变量 ， 改 为 采用 和 来 表 
示 一 个 随机 变量 。 

从 前 面 的 讨论 可 知 ， 一 个 函数 仅 赁 自身 是 不 可 测 的 : 它 的 可 测 性 需 取 决 于 天 ， 在 前 面 
我 们 并 没有 特意 强调 这 点 。 因 此 ， 如 果 我 们 说 X(w) 是 可 测 的 ,或 者 称 其 为 一 个 随机 变量 ， 
那么 我 们 假设 在 抽象 事件 空间 中 采用 了 一 个 合适 的 入， 比如 2 KRE. 
AESI t 2= {—3,—2,—1,1,2,3), H% XCo) 王 |w| 。 对 于 随机 变量 X， 我 们 希望 找 
到 一 个 oRF MF RRERPCO), RUMBA mgA X10) = {一 1,1}, X 1 (2) = 
(一 2,2)，X 1(3) = {— 3.3}. 可 以 根据 这 些 原 子 生 成 Q 的 o- 域 ( 见 第 2 章 )。 将 oo 域 定义 
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ARFHRR, TH F= {$.0.{—1,1},{—2,2},{—3,3},5{—3, —1,1,3},(—3,—2, 
2,3},{—2,—1,1,2}}. 2 t k rH ATK., WPCA 25 一 64 个 。X(w) 为 事件 空间 
(0.7) 的 随机 变量 。 < 

假设 在 例 3-5 中 ， 我 们 扩展 样本 空间 到 除 0 以 外 的 所 有 整数 :0 = {…, 一 3, 一 2， 
1,1;2,3,…}。 对 于 函数 X(wo) 王 |w|， 其 逆 象 为 X (za) = {一 n,n},nEAM。 WHA Ho-KF 
由 原子 {一 n,n) 产生 ， 那 么 X(o) 为 一 个 随机 变量 ， 它 也 是 三 上 的 一 个 可 测 函 数 。 请 注意 ， 
这 些 原子 的 敌 集 比 OMB), {一 1,3) 和 (1,2,3) 是 P(O) 中 事件 的 例子 ， 但 它们 不 在 原 
+(—n, n) 的 宕 集中 。 < 

RARE fi iX 35 HAS A Q = (HH ,TT,HT.TH), 定义 如 下 映射 
X(w) 二 {正面 朝 上 的 次 数 )}。 因 此 有 {TT}->0, (TH,HT)—1,(HH)—2, WAF=PN), 
那么 义 (w) 是 可 测 的 并 且 是 一 个 随机 变量 。 假 设 硬币 试验 是 客观 公正 的 ， 我们 可 知 
P(X=0)=1/4=P(X=2), P(X=1)=1/2, RRFF RARER, WH F= (é#.Q. TT, 
HH},{TH,HT}}, HFA- AAR oi. KH, Xoo TTA., MENARA E H 
的 映射 。 因 为 在 这 种 情况 下 ， 逆 象 鲜 (2) 二 { 昌 HH} 并 不 在 这 个 “粗粮 ”的 下 中 。 通 过 这 个 例 
+, 我们 强调 以 下 几 点 : (Ci ) 通 过 使 用 这 个 粗糙 的 矿 ，X(o) 本 身 并 没有 变化 。(ii ) 概 率 空 
间 中 的 概率 赋 给 了 大 中 的 事件 ， 而 不 是 2 中 的 元 素 (除非 一 个 可 数 o- 域 的 原子 正好 是 该 样 
本 空间 的 输出 )。 对 于 上 面 这 个 粗粮 的 o- 域 ,我 们 只 能 给 {TT,HH} 和 {TH ,HT} 赋予 概 
率 值 ， 同 时 可 知 , P({TT,HH} U {TH ,HT}) = P(Q) = 1, P(#) = 0 之 所 以 说 XX(w) 是 
不 可 测 的 ， 这 是 因为 不 能 给 X=0 或 X 王 2 赋予 概率 值 ， 概 率 值 是 不 能 赋予 独立 输出 结果 
的 ， 即 使 它们 组 成 了 原子 {TT,HH}。( 请 注意 : 如 果 我 们 试图 给 O 的 输出 结果 赋予 概率 
值 ， 而 不 是 给 事件 赋值 ， 而 这 些 事件 由 粗糙 的 o- 域 描述 ， 那 么 就 需要 假定 下 的 备 集 。) 对 于 
粗粮 的 o 域 ， 一 个 可 测 函 数 为 : 

0, 输出 不 同 
X(w) = ee (3-9) 

Fr 8 (HT, TH)—0, (HH, TT)—1, WË o- 域 将 在 第 5 章 中 进一步 介绍 。 a 

尽管 X(Co) 的 样本 空间 是 实 线 ， 但 并 不 是 所 有 的 点 都 需要 对 应 于 0 中 元 素 的 映射 (在 前 
面 的 例子 是 很 显然 的 ) 。 一 般 情 况 下 我 们 认为 : 如 果 0Q 是 一 个 有 限 ( 离 散 ) 样 本 空间 ， 那 么 
在 尺 上 只 有 有 限 个 点 的 概率 值 是 非 零 的 。 每 个 点 都 拥有 一 个 概率 质量 ， 该 质量 是 [0,1] 之 
间 的 某 个 数 ， 而 且 所 有 点 的 概率 质量 之 和 一 定 是 1。 概率 质量 为 0 的 点 绝对 不 会 出 现 : EC 
们 是 不 可 能 事件 ， 而 且 在 原始 样本 空间 中 没有 对 应 的 事件 用 于 映射 (否则 它们 就 应 该 拥有 
非 零 的 概率 值 ) 。 丸 中 离散 点 的 概率 分 配 称 为 概率 质量 函数 (pmf) 。 

IEE) a TETERE, Q = (H.,T), F = {$,0,H, T} WEILE E Xo) ARH 
为 FI， 了 IT 一 一 1。 很 显然 ， 对 于 一 个 公平 的 试验 PO X=—1)=P(X=1)=1/2, XR 
他 值 的 概率 都 为 0。 也 就 是 说 ， 其 他 数字 是 不 可 能 事件 。 如 果 假 设 存在 硬币 立 起 来 这 种 事 
件 ， 用 巨 来 表示 ， 此 时 的 映射 为 ， E>0。 如 果 P(E) 天 0( 尽 管 发 生 攻 种 情况 的 次 数 微 平 其 
微 ) 那么 这 就 是 一 个 完全 不 同 的 试验 : 存在 着 三 个 非 零 概率 的 输出 。 而 除 此 之 外 义 取 其 
他 数字 的 概率 仍然 为 0， 仍 然 是 不 可 能 事件 。 < 

通过 例 3-8 可 知 ， 对 于 有 限 试 验 ， 零 概率 事件 同时 也 是 不 可 能 事件 。 类 似 的 结论 可 适 
用 于 无 限 可 数 的 样本 空间 : 映射 到 实 线 及 上 得 到 可 数 个 点 ， 每 个 点 的 概率 质量 都 不 是 零 。 
我 们 的 直觉 认为 ， 无 限 多 个 点 的 概率 质量 之 和 竟然 是 一 个 有 限 值 ， 这 似乎 是 不 可 能 的 事 。 
但 是 ， 这 种 情况 非常 类 似 于 一 个 收敛 的 无 限 长 序列 ( 见 附录 E)。 因 为 有 无 限 多 个 样本 点 ， 
只 有 特定 的 概率 质量 函数 之 和 为 1。 后 面 将 通过 专门 的 例子 进行 讲解 。 

连续 样本 空间 的 情况 有 很 大 的 区 别 。 因 为 2 中 有 无 限 不 可 数 个 元 素 要 映射 到 实 线 上 ， 
所 以 对 于 及 上 的 任意 一 个 独立 点 其 概率 质量 都 不 可 能 是 非 零 的 。 对 于 连续 随机 变量 而 言 ， 
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实 线 上 任意 一 个 点 的 概率 都 是 0。 但是， 在 第 2 章 曾 经 提 到 ， 概 率 为 0 并 不 意味 着 该 事件 
是 不 可 能 事件 。 实际 上 ， 对 于 一 个 连续 试验 ， 无 限 多 的 零 概率 点 都 是 有 可 能 出 现 的 。 不 可 
能 的 输出 意味 着 它 在 实 线 尺 上 对 应 的 点 被 排除 在 了 样本 空间 的 定义 之 外 。 例 如 ， 如 果 令 
QO=R* ， 就 使 得 所 有 的 负数 都 成 为 了 不 可 能 事件 ， 反 之 ， 尽管 所 有 非 负 数 的 概率 都 是 0， 
但 它们 都 是 有 可 能 发 生 的 。 

因为 我 们 用 波 雷 尔 o 域 来 描述 实 线 上 的 事件 ， 所 以 及 上 的 区 间 被 赋予 了 非 零 概率 值 ， 
这 些 区 间 的 工 测度 都 是 非 零 的 。 区 间 lab], Lard), Ca,b] A (a,b) 被 赋予 的 概率 值 都 是 相 
同 的 ， 因 为 独立 点 的 概率 值 都 是 0。 接 下 来 将 会 给 出 概率 密度 函数 (pdf) 的 定义 ， 并 用 它 来 
描述 及 上 的 概率 测度 。 二 段 特定 区 间 [ab] 的 概率 就 是 pdf FATE a 和 之 间 的 面积 。 严 
格 来 说 ， 这 种 概率 是 根据 L 测度 定义 的 。 

最 后 再 提 及 一 下 混合 随机 变量 ， 这 种 变量 包括 连续 和 离散 随机 变量 成 分 。 对 于 这 种 变 
量 , 及 上 的 一 些 点 用 概率 质量 函数 来 描述 ， 而 一 些 区 间 又 用 概率 密度 函数 来 描述 。 不 过 ， 
所 有 概率 质量 函数 之 和 ， 以 及 概率 密度 函数 下 方面 积 之 和 ， 一 定 为 1( 这 样 才能 满足 概率 论 
三 大 公理 )。 混 合 随机 变量 的 例子 在 后 面 会 给 出 。 


3.3. PHB 


ALS HIRE. AAR RELA. ATA F2 sk, A dn eT B HE 
导出 概率 质量 函数 、 概 率 密度 函数 、 或 者 二 者 的 组 合 。 当 随机 变量 的 类 型 被 确定 后 ， 往 往 
没有 必要 去 考虑 抽象 的 概率 空间 (QFP) (前 面 提 到 过 ， 这 种 抽象 的 概率 空间 还 有 可 能 不 


存在 ) 。 我 们 直接 研究 概率 空间 (RBR), Px) 的 分 布 函数 。 
定义 (分 布 函数 ) 分布 函数 的 定义 域 为 及 ， 表 达 式 为 下 面 的 概率 : 
Fx(zr) 全 Pr(( 一 co,z]) = p(X < zx) (3-10) 
其 中 己 (( 一 ce,z]) 是 事件 空间 (R.BCR)} 内 从 (— co, x] 到 [0,1] 中 一 个 实数 的 映射 。 


这 种 概率 的 赋值 方法 是 另外 一 种 类 型 的 映射 从 及 上 一 个 半 开 半 闭 的 区 间 映 射 到 闭 区 
间 [0,1] 上 的 一 个 点 。 图 3-4 给 出 了 
绝对 样本 空间 Q 中 的 事件 E 如 何 映射 





到 RR 上 的 一 段 区 间 ， 然 后 再 到 闭 区 间 See 

[0,1] 上 的 一 个 点 的 过 程 ， 这 个 点 的 半 开 半 闭 区 间 -~,x] x 

数值 就 是 该 区 间 的 概率 值 ( 也 是 基础 

事件 下 的 概率 值 ) 。 aye 
关于 符号 ， 大 写字 母 ( 比 如 X) 表 in aa 


示 随 机 变量 ， 而 小 写 的 z 表示 该 随机 
变量 的 一 个 特定 取 值 (输出 )。Fx (xz) 
中 的 下 标 是 用 来 强调 我 们 指 的 是 随机 
变量 XX， 在 后 面 的 多 维 随 机 变量 的 分 
布 函数 中 这 个 下 标 就 非常 有 必要 。 但 
是 ， 如 果 上 下 文 的 所 指 非常 明显 ， 为 
行文 简洁 我 们 往往 会 省 去 这 个 下 标 。 
分 布 函 数 也 称 作 概 率 分 布 函数 ， 
以 及 累积 概率 分 布防 数 。 为 了 不 与 后 
面 的 概率 密度 函数 混淆 ,我 们 用 


概率 值 


图 3-4 M E€ Q 到 R 及 上 一 段 区 间 的 映射 , "然后 再 到 闭 区 
fa] [0,1] 上 的 一 个 点 


F 
x( , 








Fx(%) = P(X<=) 
Fy(—=°) = P(X<-+o) = P(Q) = 1 


=P(p)=0 


Fx(z) 来 表示 累积 分 布 函 数 (cdf)。 可 图 3-5 累积 分 布 函数 Fx(z) 二 P(XSZX) 的 一 个 例子 
以 用 抽象 概率 空间 AFP) 来 表示 累积 分 布 函数 

Fx(z) = P({w:X(w) < z)) (3-11) 
式 (3-11) 表 示 的 是 不 超过 数值 x 的 概率 ， 而 这 些 概率 是 指 oC OQ HR X Co) Bh PJ AIRE 
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得 到 的 概率 值 。 

图 3-5 给 出 了 累积 分 布 函 数 的 一 个 例子 ,我 们 看 到 的 函数 图 形 是 s 形 的 ， 这 是 因为 该 
函数 是 非 递 减 的 。 绝 大 多 数 的 “标准 ”概率 密度 函数 都 会 有 这 种 形状 的 累积 分 布 函 数 ， 原 因 
就 在 于 累积 分 布 函数 实际 上 是 概率 密度 函数 下 方 的 面积 。 但 是 ， 也 存在 非 s 形 的 例外 ， 比 
如 均匀 分 布 的 累积 分 布 函 数 就 是 一 条 直线 ,但 也 可 以 把 它 看 做 是 s 形 的 一 种 极端 情况 。 

根据 累积 分 布 函 数 的 定义 ， 我 们 给 出 该 函数 的 一 些 性 质 : 


@ 端点 : 
Fy(—co) =0 和 Fyxs(°e) = 1 (3-12) 
根据 Fx(z) 的 定义 ， 代入 端点 可 得 : 
Fx(— co) = P(X <— oo) = PH = 0 (3-13) 
Fy (co) =P(X <œ) = P@M) = 1 (3-14) 
注意 ， X<<< 包 含 了 F 中 所 有 的 事件 ， 而 X 志 一 2 则 没有 包含 下 中 的 任何 事件 ， 表 示 
一 个 空 集 $, 
@ 非 递减 函数 : 
Fyri) 过 Fx(zs) (对 于 zi < z>) (3-15) 


AA Pla, < X< xz,)220, MUMFRR BE A = C—co,x,] M B= (21,2. ] 有 : 
Fxy(a.) =P(X € AU X € B) 
=P(X € A)+P(X € B) (3-16) 
=Fx(z+,) + Pla, < X < r) = Fx (a) 


e 右 连续 ; 
如 果 Fx(Cz) 在 工 处 有 一 个 断 点 ， 那 么 任 取 一 个 0; 
Fx(z) = limFy(a +e) = limP(X < z +e) "63-173 
根据 不 等 式 的 方向 ，P(X 志 x 十 e) 总 是 包括 点 xz， 因 此 Fx(z) 是 右 连续 的 ， 
limFyCx-—= a) = limP(X < z = ë) (3-18) 


另外 一 方面 ， 式 (3-18) 不 包括 zx， 除非 二 0。 因 为 函数 在 e 二 0 有 一 个 断 点 ( 阶 跃 )， 
式 (3-18) 的 极限 不 是 Fx (x)。 严 格 
来 说 ， 累 积分 布 函 数 是 一 个 具有 在 Fx( 1 







极限 的 右 连续 函数 ， 该 极限 就 是 累 PRAS 
积分 布 函数 在 断 点 左 端的 取 值 (也 7 aee x 
称 作 下 极限 )。 有 关连 续 性 和 极限 1 of hee a 
的 定义 请 见 附 录 B。 “ AA 
上 面 最 后 一 个 特性 是 有 关 不 等 式 方向 0 
的 ， 即 Fx (x)“ 小 于 等 于 ”还 是 “小 于 ”。 图 3-6 有 断 点 的 Fx(z)。 实 心 圆圈 表示 函数 右 连 
图 3-6 给 出 了 一 个 含有 断 点 的 Fx (x) BY 续 的 ,空心 圆 图 表示 函数 是 左 断 开 的 


子 。 这 种 断 点 存在 于 离散 和 混合 随机 变量 ， 而 及 中 独立 点 的 概率 质量 为 零 。 
GED o= [一 2,1], 和 一 5(C0)。 对 于 了 映射 XCo) 一 |w|， 我 们 试 着 计算 分 布 函 数 
Fx(z)， 其 中 工 E [0,2]; 
Fx Gy), = P(X) < z) = p( |o |< z) = P(—x== gs min(z,1)) (3-19) 
在 本 题 中 ， 基 础 的 “抽象 ”事件 空间 是 实 线 的 一 个 子 集 ， 其 o 域 由 区 间 [一 2,1] 中 的 波 
雷 尔 集合 给 出 。 它 具有 随机 变量 的 特征 ， 可 通过 另外 一 个 抽象 事件 空间 的 映射 来 产生 。 假 
RINA, FY OREM ESL 测度 ( 乘 以 1/3)， 其 定义 见 第 2 章 。 因 此 可 得 : 
Fx(z) = (1/3)L(— zmin(z,1)) = (1/3)[min(x,1) + zlto. (x) + Toy (z) 
(3-20) 
其 中 L. (xz) 是 一 个 指标 函数 ， 当 z>2 时 ， 等 式 只 有 第 三 项， 此 时 Fx(z) 三 1。 这 个 分 布 
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函数 是 分 段 线 性 的 : 在 [0,1] 区 间 的 斜率 为 2/3， 在 (1,2] 区 间 的 斜率 为 1/3， 在 其 他 区 间 

是 一 条 水 平 线 。 < 

例 3-9 的 概率 空间 是 (Q = [— 2,1],Z = B([—2,1]),P(+) = (1/3)L(+)), AA P E 

工 测度， 所 以 输出 {w} 服 从 均匀 分 布 。 随 机 变量 X(w) 是 从 [一 2,1] 到 L0，2] 的 一 个 映射 ， 

映射 前 后 都 是 在 实 线 上 ， 所 以 实际 上 这 是 随机 变量 变换 的 一 个 例子 。 如 果 设 YY 是 2 的 一 
个 随机 变量 ， 那 么 Y 的 分 布 函 数 为 : 

Fy(y) = Plo X y) = (1/3) (y +2) Ip Gy) + La. (y) (3-21) 

第 4 章 会 介绍 随机 变量 的 各 种 变换 。 本 章 后 续 的 部 分 将 研究 随机 变量 的 特定 “系列 ”， 
而 不 去 考虑 基础 的 抽象 概念 空间 ， 并 用 符号 X 来 替代 X(w)。 同 时 这 意味 着 X 是 可 测 的 ， 
并 且 也 有 明确 定义 的 概率 空间 {及 , B(R),Fx(z)}, 其 中 累积 分 布 函 数 代 表 了 概率 测 
JE Px, 

WE, 我们 对 定义 在 实 线 上 的 概率 空间 有 完备 的 描述 ,通过 累积 分 布 函 数 也 可 以 对 半 开 
半 闭 区 间 oor] 进行 描 述 。 在 接 下 来 的 讨论 中 ， 非 常 有 必要 对 离散 随机 变量 、 连 续 随机 变 
量 ， 以 及 混合 随机 变量 进行 区 分 。 现 在 回顾 一 下 ，o- 域 是 给 样本 空间 定义 的 ， 于 是 我 们 能 够 
以 统一 的 方式 给 感 兴 趣 的 事件 赋 概 率 值 。 波 雷 尔 so 域 不 仅 是 可 测 的 ， 而 且 在 实际 情况 下 对 于 
了 及 上 的 连续 随机 变量 非常 有 用 ， 我 们 往往 关注 的 是 区 间 的 概率 值 ， 比 如 P(a<X<0)。 

为 了 区 分 离散 随机 变量 和 连续 随机 变量 ,定义 一 个 连续 的 概率 测度 。 

定义 (绝对 连续 概率 测度 ) 如 果 对 于 事件 EC Q( E B] K.,5.), L(E)=0 意味 着 P(E) 二 
0， 那 么 在 可 测 事 件 空间 (RBR), E. WAMA P Z+ L 测度 是 绝对 连续 的 。 

其 中 “关于 工 测度 ” 指 我 们 感 兴趣 的 是 用 区 间 的 长 度 定义 测度 如 果 这 段 区 间 的 长 度 为 
0， 那 么 这 段 区 间 的 概率 为 0。 一 个 绝对 连续 的 概率 测度 引出 的 是 一 个 连续 的 随机 变量 。 
(在 第 4 章 中 ， 该 定义 被 扩展 到 多 维 可 测 事件 空间 {RY，B(RN)}， 其 中 事件 EE 是 RR 上 的 
一 个 矩形 ， 当 N>2 BF, E ÆR“ 上 的 一 个 超 和 矩形 。》 

我 们 同样 也 给 出 非 绝 对 连续 的 概率 测度 的 定义 。 

定义 (奇异 概率 测度 ) ”如 果 存 在 事件 {EE,)， LCE, =0 以 及 P(U,E,)=1 成 立 ， 
那么 在 可 测 事件 空间 (R,BOR)) 上 ， 概 率 测 度 P X + L 测度 是 奇异 的 (singular) 。 

根据 定义 可 知 ， 在 及 上 存在 若干 点 的 集合 (很 显然 ， 这 些 点 的 工 测度 是 0)， 这 些 点 的 
并 集 的 概率 为 1。 对 于 离散 随机 变量 ， 奇 异 的 概率 测度 是 指 独立 点 的 概率 质量 是 非 零 的 。 
(这 个 定义 同样 也 可 以 扩展 到 多 维 可 测 事件 空间 {RY BOR}. ) 

勒 贝 格 分 解 定 理 指 出 ， 一 个 概率 测度 可 以 被 分 解 为 一 个 绝对 连续 分 量 和 一 个 奇异 分 量 
(Billingsley，1986)， 在 此 不 给 出 证 明 。 

定理 3-1 ( 勒 贝 格 分 解 ) 在 事件 空间 (R.B(R)) 上 ,概率 测度 已 是 可 以 被 分 解 的 ， 
因此 对 于 任意 一 个 事件 E. i 

P(E) = P,. (E) + P.(E) . (3-22) 
其 中 Pef P. 分 别 表 示 的 是 绝对 连续 概率 测度 和 奇异 概率 测度 。 

这 个 定理 肯定 了 混合 随机 变量 的 存在 ， 混 合 随 机 变量 可 同时 拥有 离散 和 连续 的 分 量 
(在 本 章 最 后 会 讲 到 )。 式 (3-22) 对 每 种 情况 分 别 进行 了 处 理 ， 连 续 随机 变量 的 概率 测度 为 
P,.， 而 离散 随机 变量 的 概率 测度 为 P.. 

为 了 内 容 的 完备 性 ， 奇 异 概率 测度 还 可 以 被 进一步 分 解 ， 一 部 分 包括 若干 独立 点 ( 离 
散 的 ) ， 其 他 部 分 为 无 限 不 可 数 事件 的 一 个 奇异 连续 分 量 。 在 实际 问题 中 ， 后 面 这 部 分 内 
容 其 实 并 不 很 受 关注 ， 因 此 我 们 并 不 对 其 进行 详细 讲解 。 接 下 来 给 出 的 这 个 康 托 尔 分 布 的 
例子 (Richardson，2009) 是 一 个 非 绝 对 连续 的 随机 变量 ， 它 实际 上 是 奇异 连续 的 ， 并 且 没 
有 离散 的 部 分 。 

( 康 托 尔 函数 ) 康 托 尔 函数 Fc(Cz) 是 指定 义 在 康 托 尔 集 合 C 上 的 均匀 分 布 随 
机 变量 的 累积 分 布 函数 ， 在 第 2 章 的 例 2-35 中 曾 对 其 进行 了 解释 。 我 们 用 序列 来 表示 函 


67 


68 第 一 部 分 概率 、 随 机 变量 与 期 户 


数 可 得 到 康 托 尔 函 数 ， 记 作 Fe (z), m€ N. HB 3-7 给 出 了 m 取 3 个 值 时 的 Fc C), Y 
以 看 出 函数 曲线 呈 阶 梯 状 ， 且 当 ma 变 大 时 平坦 部 分 越 来 越 多 。( 这 就 是 所 谓 的 “魔鬼 的 阶 
梯 ”。) 当 m->co 时 得 到 的 就 是 康 托 尔 函数 Fc(z)， 它 具有 如 下 特性 : (| ) 它 是 一 个 奇异 函 
数 ， 并 且 没 有 离散 部 分 。(ii ) 它 是 一 个 连续 的 单调 函数 (很 显然 ， 所 有 的 累积 分 布 函 数 都 


是 单调 的 )。( 首 ) 它 的 导数 几乎 处 处 为 0， 因 为 对 于 工 儿 Cs， 每 个 Fo (z) 都 是 常数 (每 个 函 
数 在 开 区 间 都 是 平坦 的 ， 并 且 要 被 抠 去 一 部 分 来 得 到 康 托 尔 集合 的 Cu ) , < 
1 1 
Fo(x) Fb) 
Ci C2 
0 0 
0 1⁄3 2/3 pas 0 1⁄3 2/3 二 
a) b) 
1 
Fel) 
C3 
0 
0 1/3 2/3 a 


c) 


图 3-7 C, 上 均匀 分 布 的 累积 分 布 函 数 , m = 1,2,3。 当 mm 一 65 时， 极限 为 康 托 尔 函数 Fe(z), J. 
图 2-6 中 的 {CG} 得 到 的 康 托 尔 集合 也 在 本 图 中 (zx 轴 上 的 粗 线 ) 


概率 空间 (RBR), Fx) 是 对 离散 、 连 续 和 混合 随机 变量 一 个 非常 有 用 的 描述 方法 。 
在 3.4 节 ， 对 于 离散 随机 变量 ， 我 们 采用 这 种 描述 以 及 累积 分 布 函数 Fx (z) 来 定量 分 析 独 
立 点 的 概率 质量 ; 在 3. 5 节 ， 对 于 连续 随机 变量 ， 我 们 采用 同样 的 方法 计算 实 线 上 任意 一 
段 区 间 的 概率 值 。 离 散 随 机 变量 的 概率 质量 函数 相对 容易 理解 ， 因 此 我 们 首先 讲解 这 个 内 
容 。 对 于 连续 随机 变量 ,我 们 利用 一 段 区 间 来 描述 一 个 事件 ， 然 后 对 基础 的 概率 密度 函数 
进行 积分 来 计算 该 事件 的 概率 值 。 

本 节 最 后 将 基于 累积 分 布 函数 ， 给 出 随机 变量 支 集 的 严格 定义 。 

定义 (随机 变量 的 支 集 ) ”随机 变量 义 的 支 集 由 所 有 的 XER 给 出 ， 且 对 于 所 有 的 e> 
0 有 : 

Fyx(z + €) > Fy(z=e) (3-23) 

请 注意 在 这 个 定义 中 需要 用 到 严格 的 不 等 式 。 尽 管 Fy (z) HET R, 但 对 于 基础 的 概 
率 密度 函数 或 者 概率 质量 函数 ， 该 结论 不 一 定 成 立 ( 尤 其 是 用 到 子 克 罗 内 克 ó 函数 ) 。 开 区 
间 被 排除 在 概率 密度 函数 和 概率 质量 函数 的 支 集 之 外 ， 在 开 区 间 上 Fx(z) 是 平坦 的 (导数 
为 0)。 有 平坦 区 域 的 下 x (xz) 或 者 对 应 于 一 个 离散 随机 变量 ,或 者 对 应 于 一 个 具有 离散 分 量 
的 混合 随机 变量 。 因 为 累积 分 布 函数 是 右 连 续 的 ， 所 以 上 面 的 这 个 不 等 式 “ 捕 提 到 了 ”离散 
随机 变量 的 输出 结果 。 


3.4 概率 质量 函数 


图 3-8 给 出 了 离散 随机 变量 分 布 函 数 的 一 个 例子 。 通 过 观察 可 以 看 出 ， 这 种 类 型 的 分 
布 函数 有 两 个 非常 明显 的 特征 : 
e 当 工 是 随机 变量 的 输出 时 ，Fx (xz) 在 z 处 有 个 突变 。 
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e 在 输出 值 之 间 ，Fx (z) 为 常数 。 
FX) 1 






1/2 右 连 续 


-1 1 
图 3-8 离散 贝 努 里 随机 变量 的 分 布 函 数 


有 两 种 方法 可 以 表示 离散 随机 变量 的 输出 和 概率 取 值 ， 即 利用 克 罗 内 克 ó 函数 或 者 狄 拉克 
ó 函数 8(z)。 图 3-8 中 的 分 布 函数 对 应 的 是 对 称 贝 努 里 随机 变量 ,该 分 布 以 等 概率 输出 士 ]。 在 
投掷 一 枚 硬币 的 时 候 ， 就 会 产生 这 种 类 型 的 随机 变量 : H—>X=1 K T>X= 一 1。 
HEP AE ó 函数 来 表示 离散 随机 变量 的 输出 会 更 加 方便 ， 此 时 不 存在 连续 性 问题 。 
一 个 脉冲 的 高 度 正好 等 于 输出 值 > 的 概率 。 例 3-10 H, AY PCX=1)=P(X=—-1)= 
1/2， 所 以 我 们 可 以 写 出 下 面 的 概率 质量 函数 : 
px[x] = (1/2)C6[xz—1]+6[Lz+t+1)]) (3-24) 
(回顾 一 下 ， 我 们 用 方 括号 来 表示 克 罗 内 克 6 函数 ， 用 圆 括号 来 表示 狄 拉 克 6 函数 ) 之 所 以 
称 作 概率 质量 函数 ， 因 为 这 个 函数 描述 了 每 个 输出 值 被 赋予 的 概率 质量 的 多 少 。 图 3-9a 
给 出 的 是 对 称 贝 努 里 样本 的 概率 质量 函数 。 从 6 函数 的 位 置 可 以 看 出 ， 输 出 值 ( 士 1) 拥 有 
非 零 概 率 质量 ， 而 且 每 条 线 的 高 度 ( 用 实心 圆圈 表示 ) 给 出 了 每 个 输出 值 的 概率 (1/2)。 这 
种 表示 方法 在 概率 论 基 础 课程 中 经 常用 到 ， 因 为 它 非 常 直观 ， 而 且 很 清晰 地 描述 了 一 个 离 
散 随机 试验 的 概率 值 。 但 是 ， 因 为 概率 质量 函数 显然 不 是 一 个 连续 函数 ， 并 且 其 支 集 是 Z 
的 一 个 子 集 ， 所 以 它 不 能 被 积分 ， 而 积分 特性 在 许多 应 用 中 是 非常 有 用 的 。 
对 于 连续 随机 变量 ， 将 累积 分 布 函 数 进行 微分 就 可 以 得 到 基础 概率 密度 函数 ， 而 将 概 
率 质量 苑 数 进行 积分 也 可 以 得 到 累积 分 布 函 数 ( 稍 后 将 讨论 这 个 特性 )。 而 对 于 采用 克 罗 内 
克 函数 的 离散 随机 变量 ， 该 结论 不 成 立 。 离 散 问题 可 以 通过 狄 拉克 ó 函数 6(zx) 来 解决 ， 
该 函数 在 工 处 的 高 度 为 无 穷 大 ， 宽 度 为 0， 但 面积 为 1。 附录 B 给 出 了 狄 拉克 6 函数 的 定 
义 以 及 其 他 重要 特性 。 因 此 ， 我 们 可 以 写 出 对 此 贝 努 里 随机 变量 的 概率 密度 函数 : 
fx(x) 三 (1/2)[SCz 一 1 十 SCz 十 1)] (3-25) 
可 以 看 出 狄 拉克 ó 函数 是 通过 它 的 面积 来 进行 定义 的 : (1/2)6(Cz) 的 面积 为 1/2( 这 并 不 是 
狄 拉克 ó 函数 的 高 度 ) Eq 3-9b 给 出 了 对 称 贝 努 里 随机 变量 的 概率 质量 函数 ， 在 这 里 我 们 
使 用 箭头 来 同 克 罗 内 克 6 函数 进行 区 分 。Fx (zx) 中 的 “跳跃 ”是 通过 单位 阶 跃 函数 u(x) 来 进 
行 体现 的 ， 其 定义 如 下 (如 图 3-8 Aras): 
Fx(x)= (1/2)[u(z +1) +u(z —1)] i (3-26) 
为 方便 起 见 ， 有 些 图 形 将 在 后 面 给 出 ， 在 此 采用 图 3-10， 其 非 连续 特性 是 通过 垂 线 来 体现 
的 ， 而 且 该 函数 仍然 是 右 连续 的 。Fx(Cz) 和 fx(z) 之 间 的 关系 将 在 3. 8 节 进 行 详细 的 讨论 。 


Fx(x) 右 连续 
f 
px pi) Fy(x) =en + u(et)) 1 


采用 单位 阶 跃 函数 1/2 






1/2 1/2 


-1 1 * -1 1 * 
a) b) 


图 3-9 对 称 贝 努 里 随机 变量 。a) 基于 克 罗 内 图 3-10 ”离散 随机 变量 的 累积 分 布 函数 ,该 函数 
AR ó 函数 的 概率 质量 函数 ; b) BEF k 的 非 连续 特性 是 通过 垂 线 来 进行 体现 的 
拉克 9 PR A AY BEE OF AE PR Br (与 图 3-8 进行 比较 ) 
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我 们 在 此 强调 : 对 于 离散 随机 变量 的 问题 ， 其 概率 密度 函数 和 累积 分 布 函 数 不 是 连续 
的 苑 数 。 严 格 来 讲 ， 对 于 贝 努 里 随机 变量 ,其 Fx (zx) 的 微分 是 不 存在 的 。 但是， 通过 采用 
RPL GE ó 函数 ， 这 个 情况 就 能 “解决 >” 了， 尽管 这 个 函数 曾经 是 连续 的 。 因 为 ， 无 论 在 哪 
里 ，Fx(z) 都 有 一 个 断 点 ( 阶 跃 ) ， 而 fx (xz) 存在 一 个 狄 拉克 6 函数， 其 面积 由 断 点 的 高 度 
给 出 。 类 似 地 ， 在 所 有 的 x 上 对 fx (xz) 进行 积分 可 得 到 Flr), Fy (x) 一 直 保 持平 坦 ， 直 
到 遇 到 一 个 狄 拉 克 ó 函数 ， 此 时 该 点 “跳跃 的 高 度 由 函数 的 面积 决定 (同时 也 是 该 点 的 
"a 

设 X 为 一 个 离散 随机 变量 ， 输 出 为 {1，…,N)}, E X 334 E RR AP(E)= 
T 其 中 C(E)= | E | # YT 2 l| Jë ( W, “ee 这 个 概率 空间 定义 了 均匀 分 布 的 离散 
随机 变量 ,该 分 布 在 本 章 后 续 部 分 会 讲 到 。 假 设 NN 是 偶数 ， 我 们 对 事件 E= !# U3< 
N/2} 感 兴趣 ， 因 此 有 : 


PCE) = P( 奇 数 ) + PCR < N/2) — P( # # < N/2) (3-27) 
根据 计数 测度 可 知 : 
C(E) = N/2+ N/2— N/4 = 3N/4=P(E) = 3/4 (3-28) 
利用 概率 质量 函数 ， 也 可 以 写 为 : 
P(E)= [到 十 S ple] 2 px[z] (3-29) 
zr=1,3,-- N—1 +N/2—1 
HF pxla] = C/N Ius] 它 可 以 从 每 项 求 和 表达 式 中 提取 出 来 ， 因此 得 到 
式 (3-28) 的 结果 。 < 


对 于 等 概率 输出 的 有 限 集合 ， 例 3-10 中 基于 计数 测度 的 概率 等 同 于 第 2 章 中 介绍 的 
PCE)=|E|/|Q|, 我 们 通过 统计 输出 结果 排列 或 组 合 的 个 数 来 计算 EE 的 基数 。 这 种 方法 
在 很 多 问题 中 非常 有 用 。 但 是 ， 如 果 输 出 结果 不 是 等 概率 的 ， 或 者 是 更 加 复杂 的 随机 变 
量 ， 就 有 必要 通过 对 概率 质量 函数 求 和 来 计算 概率 值 ， 同 式 (3-29)。 进 一 步 ， 还 可 以 用 概 
率 质量 函数 来 计算 随机 变量 的 各 种 函数 ， 例 如 数学 期 望 、 方 差 以 及 其 他 抢 ， 在 第 5 章 将 会 
对 此 进行 介绍 。 


3.5 概率 密度 函数 


累积 分 布 函数 是 对 可 测 空间 RBR) 上 的 随机 变量 X 在 半 开 半 闭 区 间 的 一 个 概率 测 
BE. 具体 见 式 (3-10)。 因 为 我 们 对 区 间 感 兴趣 ， 应 该 考虑 Fx (x) 的 基础 函数 ， 记 作 概 率 密度 
函数 fx(z)， 对 fx(z) 在 (一 se,z] 上 进行 积分 就 得 到 累积 分 布 函数 。 我 们 可 以 通过 对 基础 概 
率 质量 函数 在 一 段 区 间 上 的 积分 来 计算 一 个 事件 的 概率 ， 而 这 段 区 间 是 若干 个 区 间 的 并 集 。 
下 面 给 出 的 这 个 定理 ， 陈 述 了 概率 密度 函数 的 存在 性 ， 我 们 在 此 不 给 出 证 明 。 

定理 3-2( 拉 东 - 尼 柯 迪 姆 (Radon-Nikodym)) 如 果 可 测 事件 空间 {及 ,B( 及 )} 上 的 概率 
测度 Px 是 绝对 连续 的 ， 对 于 随机 变量 X， 存 在 一 个 非 负 的 函数 i [a,b] ER 
上 满足 : 


Plax X <b) = | frode (3-30) 


因为 概率 测度 是 绝对 连续 的 ， 不 等 式 的 所 有 组 合 都 可 以 用 在 式 (3-30) 中 ， 所 以 有 
P(a<X<b) = P(a<X<b)=P(a<X=<b)= P(a< X<), 进 — 步 ,这些 公 式 还 可 以 被 表 
示 为 ， 

Pla < X < b) = Fx(b) — Fx (a) (3-31) 
同时 可 得 ， 
Fra) 一 | czjdz (3-32) 


将 累积 分 布 函数 对 z 进行 求 导 可 得 概率 质量 函数 : 
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PEL = Sp ay (3-33) 


dx 
上 式 也 称 作 Fx(z) 的 拉 东 - 尼 柯 迪 姆 导数 。 

一 般 而 言 ， 密 度 函 数 之 所 以 称 作 “密度 ”， 是 指 通过 积分 可 以 得 到 需要 的 量 ， 在 本 章 中 
这 个 量 就 是 某 个 随机 变量 的 概率 。 概 率 密度 函数 本 身 并 不 是 一 个 概率 ， 它 是 区 间 [0,1] 中 
一 个 没有 量 纲 的 量 。 假 设 随机 变量 X 代表 电压 ， 单 位 为 V， 此 时 X 的 概率 密度 函数 的 单 
位 为 V '， 当 通过 积分 来 计算 概率 时 就 可 产生 一 个 没有 量 纲 的 量 。 对 X 的 概率 密度 函数 在 
一 段 区 间 上 进行 积分 时 ， 我 们 肯定 会 得 到 一 个 没有 量 纲 的 概率 值 ， 而 且 如 果 这 个 概率 密度 
函数 是 正确 的 ， 得 到 的 概率 值 一 定 会 在 区 间 L0,1] 中 。( 同 样 ， 在 后 面 我 们 会 考虑 功率 谱 
密度 Sxx(f)， 它 的 单位 是 w/Hz。 但 对 Sxx (用 在 一 段 频率 区 间 上 进行 积分 时 ， 得 到 的 结 
果 就 是 功率 。) 

严格 来 说 ， 计 算 拉 东 - 尼 柯 迪 姆 导数 用 于 绝对 连续 概率 测度 ， 这 意味 着 Fx (xz) 是 一 个 
绝对 连续 函数 ( 见 定理 3-2) 。 先 前 讲 到 Fx(Cz) 是 右 连续 的 。 这 种 差别 的 存在 是 因为 在 实际 
中 Fx(z) 可 能 包含 绝对 连续 、 奇 异 连续 和 离散 分 量 。 一 个 奇异 连续 函数 的 导数 几乎 处 处 为 
0( 见 例 3-10 中 的 康 托 尔 函数 )。 拉 东 - 尼 柯 迪 姆 定理 是 不 包括 奇异 连续 函数 的 ， 因 为 它 的 
概率 密度 函数 不 能 通过 式 (3-33) 计 算 。 前 面 还 提 到 ， 在 实际 情况 中 不 太 可 能 遇 到 拥有 奇异 
连续 部 分 的 累积 分 布 函数 ， 因 此 我 们 也 不 关注 这 种 情况 。 

另 一 方面 ， 在 许多 应 用 中 经 常会 遇 到 离散 分 量 ， 所 以 离散 累积 分 布 函数 是 值得 研究 
的 ， 同 样 也 包括 拥有 绝对 连续 和 离散 分 量 的 混合 累积 分 布 函 数 。 可 是 ， 拉 东 - 尼 柯 迪 姆 定 
理 也 不 包括 离散 的 情况 ， 因 此 式 (3-33) 的 导数 定义 也 是 不 充分 的 。3.4 节 曾 提 到 ， 这 种 情 
况 可 以 利用 狄 拉克 3》 函数 得 到 解决 ， 用 它 来 表示 fx (x) 的 这 部 分 分 量 ， 对 应 的 是 Fx (zx) 中 
的 断 点 ( 阶 牙 ) 。 这 三 种 类 型 的 累积 分 布 函数 及 其 对 应 的 概率 密度 函数 如 图 3-11 所 示 。 对 
于 混合 随机 变量 ， 连 续 部 分 下 面 的 面积 加 上 狄 拉克 8 函数 的 面积 一 定 等 于 1( 对 于 任意 随机 
变量 都 应 该 是 这 样 的) 。 





Fx(x) j e= f(x) F(x} 1 fx(x) 
3⁄4 =—— 1⁄2 
1⁄2 e———,Ñj.o t 1/4 1⁄4 1⁄2 é 
= 0 1 x +1 0 1 x 0 x 9 x 
a) b) 
Fx(x) 1 fx(x) 
e 1⁄2 


c) 


图 3-11 三 种 类 型 随机 变量 的 累积 分 布 函数 和 概率 密度 函数 。a) 离散 ; b) 连续 ; c) 混合 (包括 连续 和 
离散 分 量 ) 


3.6 混合 分 布 


从 式 (3-22) 的 混合 概率 人 手 ， 写 出 混合 累积 分 布 函数 的 表达 式 : RRMA ATT. 
断 点 之 间 是 绝对 连续 的 ， 如 图 3-11c 所 示 。 设 式 (3-22) 中 的 事件 EE 为 Xz， 那 么 累积 分 
布 图 数 可 写 为 如 下 表达 式 : 


P(X < z) = P, (X < zy + P,(X < z) (3-34) 
这 个 分 解 指出 及 上 的 分 布 函数 存在 断 点 的 条 件 。 下 标 s 的 意义 为 : 
PAX < zx) #@P(X < z=|X € S)P(X € Š) (3-35) 


其 中 S 表示 断 点 处 取 值 的 集合 (累积 分 布 函 数 的 奇异 离散 部 分 )， 同 样 地 : 
P, (X< z) &P(X < z=|X € SIP(X € S°) (3-36) 
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SEX 除 断 点 外 的 支 集 。( 实 际 上 ，S 的 元 素 不 可 能 从 绝对 连续 部 分 被 “ 移 除 ”， 因 为 这 些 
元 素 在 连续 部 分 的 概率 为 0， 它们 可 以 被 放 进 式 (3-36) 中 并 且 不 会 影响 总 的 概率 。) 根 据 这 
些 定义 ， 式 (3-34) 可 用 基于 断 点 的 条 件 概率 来 表示 ， 可 得 
Fx(z) = Fx|s (z|S°)P(X € S9) + Fx|s(z|S)P(X € S) (3-37) 
其 中 Fxjs (X|SOPCXES) BEB TH BAD BBM, Fx|s (zx1S) 是 离散 部 分 的 累积 
分 布 函 数 ， 概率 POXES)+P(XES)=1 提供 了 一 个 合适 的 权重 值 ， 使 得 Fx (xz) 是 一 个 
合法 的 累积 分 布 函 数 。 对 应 的 概率 密度 函数 为 : 
fx(x) = fx|s(z|S P(X € S) + fx|s(z|S)P(X € S) (3-38) 
可 以 看 出 ，P(XE S) 对 应 的 是 贝 努 里 随机 变量 中 “成 功 ” 的 概率 ，S 中 X 等 于 1 表示 成 
功 一 次 。 
URSD 设 S= {0,1,2}, PXES)=0.6, 假设 存在 下 面 的 等 式 : 


l expl 2/2) (3-39) 
2x 





fx |= (z|S:°) = 


fx |s(z|S) =(1/8)dCx) + (1/4)ó6(% — 1) + (5/8) 80a — 2) (3-40) 

很 显然 ， 第 一 个 概率 密度 函数 是 高 斯 的 ， 第 二 个 概率 密度 函数 是 离散 的 ，. 且 由 三 个 输 

出 组 成 S。 权 重 P( X€ S)=0.6 UR P(X€ S')=0.4 确保 了 fx(z) 是 一 个 合法 的 概率 密度 
函数 ， 如 图 3-12 所 示 ， 同 时 还 给 出 了 各 自 的 累积 分 布 函数 。 


fx(x), Fx(x) 





图 3-12 例 3-12 中 的 混合 分 布 < 


给 定 一 个 混合 累积 分 布 函数 ， 需 要 判断 它 的 离散 部 分 和 连续 部 分 。 首 先 找 出 函数 中 的 
所 有 断 点 ， 这 些 断 点 组 成 了 集合 S。 每 个 断 点 的 高 度 就 是 它 的 概率 质量 (尽管 要 对 其 进行 
比例 缩放 使 得 离散 概率 质量 函数 之 和 为 1) 。 此 时 ， 函 数 剩 下 的 部 分 就 是 连续 的 ， 通 过 合适 
的 缩放 成 为 一 个 合法 的 概率 密度 函数 。 移 除 断 点 并 不 表示 将 这 些 输出 结果 从 连续 随机 变量 
中 排除 掉 ( 式 (3-36) 提 到 了 二 者 的 关系 )。 如 果 将 连续 部 分 的 支 集 扩展 到 这 些 断 点 ， 那 么 这 
些 点 就 应 该 被 包括 在 内 ， 只 不 过 概率 为 0， 而 且 连 续 部 分 中 所 有 的 独立 点 都 应 该 这 样 处 理 。 
在 例 3-12 中 ， 混 合 概率 密度 函数 的 支 集 是 及 。 离 散 部 分 的 支 集 是 10,1,2), 而 连续 部 分 的 
支 集 仍然 是 及 。 

请 注意 ， 当 两 个 随机 变量 相 加 时 得 到 的 式 (3-37) 并 不 是 一 个 分 布 函数 。 后 一 种 类 型 的 
分 布 函 数 取 决 于 随机 变量 的 函数 ， 这 将 在 3. 7 节 中 讨论 。 混 合 随机 变量 实际 上 是 混合 分 布 
的 特例 : 
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Fx(z) = SiwsFx (x,) (3-41) 
其 中 {Fx (xz,)}) 是 合法 的 累积 分 布 函数 (连续 的 或 离散 的 )，(w,} 是 非 负 的 权重 ， 它 使 得 


So, 二 1 成 立 。 式 (3-41) 右 边 的 累积 分 布 函 数 可 以 是 任意 形式 的 ， 混 合 分 布 函 数 将 在 第 4 
me, 

表 3-1 归纳 了 本 章 出 现 的 随机 变量 的 事件 空间 ， 同 时 还 包括 每 个 样本 空间 2 的 基数 和 
相应 的 c- 域 天 。Beth 数 表示 的 是 不 同类 型 无 限 集合 的 基数 ， 它 们 已 经 在 第 2 章 介 绍 过 ， 
表 2-4 对 其 进行 了 总 结 :- 通 过 将 连续 随机 变量 的 o- 域 限制 为 B(RR)， 它 就 与 拥有 相同 的 基 
数 ， 而 徊 集 (似乎 “< 太 大 了 ”) 的 基数 为 P(RR) 二 2 二 PC(PCN))。 对 于 离散 随机 变量 (有 限 的 和 
无 限 可 数 的 )， 样 本 空间 是 也 的 一 个 子 集 (NN 个 整数 或 2)。 事 件 空间 {及 ，B(RR)} 仍 然 适 用 于 
离散 随机 变量 的 累积 分 布 函 数 Fx(Cz)， 且 可 以 支撑 实数 集合 尽 。 严 格 来 说 ， 在 这 种 情况 下 
概率 密度 函数 是 不 存在 的 ， 如 果 要 通过 某 段 区 间 来 描述 一 个 事件 的 概率 ， 就 需要 根据 黎 
曼 -斯 蒂 尔 切 期 (Riemann-Stieltjes) 积 分 来 计算 Fx(Cz)。 这 里 并 不 打算 讨论 这 种 积分 ， 它 的 
数学 期 望 将 在 第 5 章 讨 论 ， 附 录 D 也 会 对 它 进 行 归纳 总 结 。 


表 3-1 随机 变量 的 事件 空间 (0,77) 及 其 基数 


类 型 Q }Q| F | F | 例子 
有 限 N 个 整数 N P(A) 2N 贝 努 里 分 布 
无 限 可 数 z = |N | PCA) a= |R| 几何 分 布 
连续 R a BA) a; 高 斯 分 布 


前 面 讲 过 ， 一 个 离散 随机 变量 可 以 包含 在 一 个 连续 表达 式 里 面 ， 只 需要 在 基础 概念 密 
度 函 数 fx(z) 中 引入 狄 拉 克 6 函数 即 可 。 事 件 空间 为 (R.BC(R)), 通过 对 fx (x) 积分 来 计 
算 概率 值 ， 从 而 将 区 间 里 面 的 这 些 6 函数 “捕获 ”进来 ， 这样 就 考虑 了 这 些 感 兴趣 的 离散 事 
件 。 但 是 ， 当 用 概率 质量 函数 来 表示 一 个 离散 随机 变量 的 分 布 时 ， 就 可 以 假设 样本 空间 是 
基于 整数 的 ， 如 表 3-1 所 示 。 对 于 这 些 0， 就 没有 必要 限制 o 域 比 徊 集 小 (在 前 面 一 些 描述 
可 测 性 的 例题 中 ， 我 们 限制 e 域 比 寡 集 小 ) 。 进 一 步 ，2 中 的 所 有 元 素 可 以 被 赋予 任意 分 
布 类 型 的 概率 值 ， 并 且 保 证 概率 质量 之 和 为 1。 
本 章 剩余 部 分 将 介绍 随机 变量 的 一 些 参 数 族 ， 先 讲 连 续 的 然后 讲 离 散 的 。 附 录 A 总 结 
了 这 些 随机 变量 ， 包 括 它 们 的 各 种 性 质 ， 比 如 各 阶 矩 、 特 征 函 数 和 炉 。 所 有 的 这 些 性 质 在 
后 续 章节 中 都 有 讲解 。 这 里 主要 研究 概率 密度 函数 和 概率 质量 函数 的 形态 与 位 置 ， 并 讲 到 
一 些 应 用 和 概率 值 的 计算 。 利 用 指示 函数 来 表示 各 种 随机 变量 的 支 集 非常 方便 ， 附 录 B 对 
其 进行 了 讨论 ， 在 此 先 给 出 指示 函数 的 定义 : I 
by ax m b 
0, 其 他 
同样 ， 还 可 以 在 其 他 类 型 的 区 间 ( 闭 区 间 、 半 开 半 闭 区 间 ) 以 及 独立 点 上 进行 定义 : 
a fin, £ ab ' 
I... La] & i 其 他 (3-43) 
T AY 3c $Ë n] WA His 4 BJ FB AS PR 2 3 LA E BJ E BE pa BN HER E ph Br pR OK BEN o 


3.7 随机 变量 的 参数 模型 


在 许多 应 用 场合 数据 是 随机 的 ， 我 们 希望 推导 出 一 个 分 布 模型 ， 用 这 个 模型 可 以 很 准 
确 地 表示 观测 样本 。 建 模 的 过 程 有 如 下 几 个 步骤 : 
1) 给 随机 变量 X 的 分 布 选取 一 个 参数 族 作 为 模型 ， 该 模型 能 “最 好 地 ”代表 观测 样本 。 


Two (z) 会 | (3-42) 
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例如 ， 根 据 观测 样本 的 直方 图 ， 我 们 可 能 会 选取 概率 密度 函数 为 fx(z) 的 高 斯 分 布 作为 一 
个 合理 的 模型 ， 因 为 直方 图 的 形态 是 “ 钟 形 ”。 

2) 根据 X 的 观测 样本 ， 估 计 这 个 分 布 的 参数 。 对 于 高 斯 分 布 的 例子 ， 可 以 用 样本 均 
值 X 来 估计 均值 wy,， 用 样本 方差 S RAAT ok. HI 章 还 会 讨论 许多 参数 估计 方法 。 

3) 当 一 个 参数 模型 被 选 定 以 后 ， 随 机 变量 的 各 种 特性 都 可 以 确定 ， 例 如 特定 的 概率 
ARMAS Hse. WAI. BS 章 还 会 讨论 矩 和 其 他 期 望 。 

4) 可 以 用 这 个 参数 模型 预测 将 来 的 输出 ， 在 许多 应 用 场合 可 以 用 来 做 判决 ， 例 如 后 
面部 分 讲 到 的 随机 变量 的 各 种 类 型 的 族 。 

图 3-13 给 出 了 2000 个 样本 的 直方 图 ， x 轴 上 面 每 条 的 宽度 为 0.1。 这 个 直 
方 图 的 外 形 与 指数 概率 密度 函数 非常 相像 ， 

fx (x) = Aexp(— Ax) Ito (z) (3-44) 





0 1 2 3 Anti onal B 14 6 
图 3-13 f] 3-13 rR, 2000 个 样本 的 直方 图 以 及 概率 密度 函数 ( 乘 以 200) 
其 中 4 二 0 是 一 个 参数 。 指 数 随机 变量 的 均值 为 px 王 1/A， 可 以 用 样本 均值 来 对 其 估计 : 
z= SK (3-45) 


其 中 {zx,} 表 示 N 个 实际 的 输出 结果 。 根 据 直 方 图 中 的 2000 AER, RAE z= 
0.9841， 因 此 估算 出 A 为 1.0162。4 取 这 个 值 的 概率 密度 函数 在 图 3-13 中 也 同时 给 出 (不 
WRAT 200， 这 样 概率 密度 函数 才 会 与 直方 图 边缘 吻合 ) 。 可 以 看 出 这 个 概率 密度 函数 是 
一 个 很 准确 的 模型 ， 可 以 用 它 来 计算 特定 的 概率 值 ， 例 如 : 


P(X > 2) = 1— Fx(2) = exp(— 2a) ~ 0.1353 (3-46) 
该 概率 密度 函数 在 这 个 例题 中 是 很 准确 的 ， 因 为 这 些 数据 都 是 用 1 一 1 的 指数 分 布 随 
机 数 发 生 器 模拟 生成 的 。 < 


如 果 一 个 分 布 函数 的 形态 与 观测 样本 的 直方 图 非常 吻合 ， 那 么 这 个 分 布 函数 就 可 以 作 
为 这 个 随机 变量 的 有 用 的 模型 。 下 面 的 这 些 量 值 可 以 用 来 刻画 概率 密度 函数 f< (>): 
e 均值 。 概 率 密 度 函 数 的 位 置 : 


yis Af” x fx(xdde (3-47) 
o 方差 。 概 率 密度 函数 的 宽度 : 
aš. af (z— uy)’ falada (3-48) 
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© 偏 度 。 概率 密度 函数 的 不 对 称 特性 : 


naf" [G — uox] fr(z)dz = a /ot (3-49) 
e 峰 度 。 概 率 密度 函数 的 “ 拖 尾 ”: 
ya | Tæ pox] fx (adda —3 = pa lok —3 (3-50) 


其 中 yp Ee PSH. SAM ELAS 章 中 给 出 ,但 先 假设 读者 对 这 两 个 基本 和 矩 
比较 熟悉 : 期 望 和 方差 。 标 准 差 是 指 方差 的 正平 方 根 。 这 里 首先 介绍 它们 ， 然 后 就 可 以 讨 
论 各 种 概率 密度 函数 的 形状 。 

有 些 分 布 的 均值 和 方差 可 由 不 同 的 参数 分 别 决定 ， 例 如 高 斯 随机 变量 。 但 是 ， 大 部 分 分 
布 的 均值 和 方差 由 不 止 一 个 参数 来 共同 确定 。 偏 度 和 上 峰 度 是 分 布 参数 的 一 个 复杂 表达 式 。7y 
为 正 表示 分 布 函数 的 大 部 分 都 在 均值 以 左 ， n 为 负 则 相反 。 从 y. 的 计算 公式 中 减 去 3， 那 么 
高 斯 随机 变量 的 峰 度 为 0。 峰 度 表示 与 高 斯 分 布 相 比较 时 该 分 布 函数 拖 尾 的 严重 程度 。 例 如 ， 
拉 普 拉 斯 分 布 的 为 二 3， 表 示 它 的 拖 尾 很 严重 ， 后 面 的 一 些 例 题 将 会 讲 到 这 个 内 容 。 

可 以 用 分 位 数 来 描述 分 布 函数 的 各 种 概率 值 。 

定义 (分 位 数 (quantile)) 随机 变量 和 的 第 m AF245368 q, 是 指 满足 下 面条 件 的 工 最 小 值 : 

Fy (qn) = m/M (3-51) 

HEP m= 1,-- ,M—1, 

因为 m/M 不 是 一 个 整数 ， 所 以 上 面 的 不 等 式 是 用 于 离散 随机 变量 的 。 对 于 连续 随机 
变量 ,我 们 取 严 格 的 等 式 Px qn =m/M, WR M 是 偶数 ,那么 qu: 就 是 中 位 数 m. (定义 
UFE). M=4 得 出 的 是 四 分 位 数 ，M 王 100 得 出 的 是 百 分 位 数 。 后 面 会 根据 一 些 特殊 的 
随机 变量 给 出 它们 的 例子 。 

定义 (中 位 数 (median)) 对 于 连续 随机 变量 X，x(Cz) 的 中 位 数 m. 是 指 满足 下 面 等 
式 的 取 值 : 


\" fxd = |” fide (3-52) 


上 面 这 个 表达 式 与 Fx Gm.) = 1/2 是 等 效 的 ， 当 M 是 偶数 时 对 应 的 就 是 分 位 数 qu o 
对 于 离散 随机 变量 ， 这 个 定义 需要 进行 适当 的 修改 ， 在 第 5 章 会 讲解 。 

定义 ( 众 数 (mode)) 一 个 分 布 的 众 数 m, 是 指 fx(x) 在 该 处 取 最 大 值 。 

在 许多 应 用 中 ， 可 以 对 概率 密度 函数 关于 工 求 导 来 计算 众 数 ， 导 数 为 0 时 的 工 取 值 即 
为 ms。 中 位 数 和 众 数 也 会 在 第 5 章 进行 讨论 。 


3.8 连续 随机 变量 


我 们 在 此 归纳 若干 连续 随机 变量 ， 给 出 它们 各 自 fx(z) 和 Fx(z) 的 表达 式 ， 并 描述 它 
们 的 一 些 重要 性 质 。 对 于 有 些 连续 随机 变量 ， 它 们 的 累积 分 布 函数 没有 一 个 闭 式 表达 式 ， 
包括 著名 的 高 斯 随机 变量 。 对 于 分 布 的 各 种 参数 ， 采 用 下 面 的 符号 : 

e /表示 均值 (位 置 参数 ) 。 

e° o 表示 方差 (比例 参数 )，。 

e o 表示 标准 差 (比例 参数 )。 

ec 表示 一 般 的 位 置 参数 ( 除 均 值 之 外 ) 。 

eu 表示 一 般 的 比例 参数 ( 除 标准 差 之 外 ) 。 

e 4 表示 一 般 的 位 置 / 比 例 参 数 。 

e7 表 示 一 般 的 形状 参数 ， 或 者 也 表示 学 生 氏 上 分 布 的 自由 度 。 

e a 和 8B 一 起 表示 贝塔 分 布 的 位 置 、 比 例 和 形态 参数 。 

em 和 n 表示 下 分布 的 自由 度 。 

e N 表示 卡 分 布 和 卡 方 分 布 的 自由 度 。 
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位 置 参 数 给 出 了 概率 密度 函数 的 “中 心 位 置 ”( 是 否 真 的 在 中 心 取决 于 分 布 函数 族 )， 尺 
度 参 数 给 出 了 概率 密度 函数 宽度 的 一 个 测量 值 。 这 些 参数 的 具体 定义 将 在 第 5 章 给 出 。 当 
r 变化 的 时 候 ， 不 存在 一 个 固定 的 模式 来 刻画 分 布 函 数 的 形状 ， 概 率 密 度 函 数 的 外 形 可 以 
有 很 大 的 变化 幅度 。 本 章 对 每 种 随机 变量 都 给 出 了 它 的 概率 密度 函数 图 形 ， 对 于 一 组 特定 
类 型 的 参数 值 ， 用 垂 线 来 指示 数学 期 望 wx 的 位 置 (对 于 离散 随机 变量 一 般 用 虚线 ) 。 

在 3.7 节 曾 提 过 ， 本 章 描述 的 这 些 随机 变量 都 很 重要 ， 因 为 它们 会 出 现在 各 种 应 用 场 
合 。 一 个 具体 的 概率 密度 函数 往往 很 有 用 ， 因 为 它 的 形状 是 某 些 “ 试 验 ” 输 出 结果 的 非常 准 
确 的 模型 。 例 如 ， 在 许多 物理 现象 中 用 高 斯 随机 变量 来 建 模 经 常 是 非常 准确 的 。 工 程 实际 
中 最 重要 的 例子 可 能 就 是 噪声 ， 在 所 有 的 实际 系统 中 噪声 都 或 多 或 少 地 存在 。 当 讨论 各 种 
随机 变量 的 时 候 ， 概 率 密度 函数 是 一 个 很 有 用 的 模型 ， 我 们 可 以 提供 例子 告诉 大 家 如 何 计 
算 概 率 值 以 及 各 种 量 值 ， 比 如 数学 期 望 、 中 位 数 和 众 数 。 

在 本 章 最 后 ， 读 者 可 能 会 意识 到 所 有 的 概率 密度 函数 和 概率 质量 函数 都 是 工 的 基本 函数 ， 
许多 函数 非常 简单 ， 而 且 大 部 分 都 有 指数 部 分 。 如 果 概 率 密度 函数 或 者 概率 质量 函数 是 合法 的 ， 
那么 它 一 定 是 单位 面积 的 ， 即 使 还 包括 其 他 表达 式 。 附 录 D 的 表 D-1 总 结 了 连续 随机 变量 的 概 
率 密度 函数 ， 附 录 巨 的 表 记 3 总 结 了 离散 随机 变量 的 概率 质量 函数 。 由 于 分 布 函数 的 类 型 太 多 ， 
还 给 出 了 许多 不 同 的 函数 ， 目 的 是 为 了 求 累 积分 布 卫 数 ， 以 及 其 他 感 兴 趣 的 量 ， 比 如 和 矩 。 为 方 
便 读者 ， 附 录 B 归纳 总 结 了 这 些 函 数 以 及 它们 的 性 质 ， 并 给 出 了 不 同 参 数 时 的 图 形 。 

下 面 将 要 介绍 的 这 些 随机 变量 没有 特定 的 顺序 ， 但 我 们 尽 可 能 将 一 些 有 关联 的 分 布 放 
在 一 起 。 为 方便 查阅 ， 附 录 A 中 的 连续 和 离散 分 布 是 按照 字母 顺序 排列 的 。 

3.8.1 高 斯 随机 变量 ( 正 态 ) 
高 斯 随机 变量 也 称 作 正 态 随机 变量 。 它 的 概率 密度 函数 形状 很 像 一 个 “ 钟 ”: 
fx (zx) 三 





ep (z — 02/29) Tm G) (3-53) 
其 中 均值 ERR， 标 准 差 oz 二 0， 方差 为 a 。 参 数 u Mo 的 变化 会 产生 一 系列 的 高 斯 分 布 概 
率 密度 函数 ,每 个 分 布 的 基本 形态 都 相似 ， 差 异 只 在 于 中 心 位 置 和 宽度 。 图 3-14 给 出 了 
三 个 不 同 的 高 斯 分 布 概率 密度 函数 曲线 。 标 准 正 态 分 布 是 指 jy 二 0 Mo=1 的 情况 。 高 斯 概 
率 密度 函数 的 支 集 是 所 有 的 zERR， 用 指示 函数 表示 为 Lo... (z), 

0.5 
0.45 


0.4 


fx(X) 
° 
N 


1 
1 
1 
' 
1 
1 
1 
' 
' 
' 
' 
' 
' 
I 
as 
1 
' 
' 
' 
i 
I 
' 
' 
' 





-10 -5 0 5 10 
x 


图 3-14 高 斯 概率 密度 函数 的 例子 ， 支 集 是 及 ， 垂 线 给 出 了 px 的 位 置 


对 于 许多 物理 量 和 现实 应 用 ， 高 斯 随机 变量 是 一 个 非常 有 用 的 模型 。 尤 其 是 当 非 常 多 
的 数据 聚集 为 一 个 感 兴趣 的 量 的 时 候 ， 高 斯 随机 变量 是 非常 适用 的 。 第 7 章 介绍 的 中 心 极 
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限定 理 (CLT) 指 出 : 大 量 独立 随机 变量 之 和 趋向 于 高 斯 分 布 。 高 斯 随机 变量 模型 的 应 用 包 
AU PAR: 

e 电子 与 机 械 系统 中 的 噪声 。 

© 一 大 群 人 的 物理 特征 ， 比 如 体重 和 身高 。 

e° 一 个 大 班级 中 学 生 的 考试 分 数 。 


高 斯 随机 变量 的 累积 分 布 函 数 为 : 
Fx(z) = le exp (— (vw—p)*/20) do (3-54) 


很 遗憾 ， 式 (3-54) 没 有 一 个 闭 式 表达 式 。 但 是 ， 在 许多 问题 中 会 用 到 高 斯 概率 密度 函数 
的 积分 ， 因 此 用 Q 函数 来 简化 上 面 这 个 表达 式 。Q 函数 基于 标准 正 态 分 布 的 ， 具 体 定义 为 : 


Q(x) a | e C 79780 (3-55) 
因此 ， 当 X 是 标准 高 斯 随机 变量 时 ， 根 据 式 (3-55) 可 知 : 
ROD = Terra) (3-56) 


有 时 ， 用 OC) RIR KG YE Br BEL 2E B: AS 8 AA od a pw. TEAR 5 章 中 , 已 经 用 
Dy (w) 来 表示 特征 函数 ， 因 此 一 般 还 是 采用 Q 函数 。 附 录 B 给 出 了 Q 函数 的 查 值 表 ， x 从 
0 到 3. 5。 误 差 函 数 erf(z) 和 余 误差 函数 erfc(z) 也 用 来 简化 高 斯 概率 密度 函数 的 积分 表达 
式 ， 具 体 请 参见 附录 B. 

为 了 能 在 非 标准 高 斯 随机 变量 中 使 用 Q 函数 ， 需 要 对 积分 进行 平移 变换 。( 随 机 变量 
的 一 般 变换 在 第 4 章 中 介绍 。) 根 据 下面 的 变换 ， 任 意 高 斯 随机 变量 X 的 累积 分 布 函 数 可 以 
通过 Q 函数 计算 得 到 ， 其 具体 的 分 布 参数 为 {pwva) 。 | 


Y= (X—p)/o (3-57) 
ERP Y 就 是 一 个 标准 的 高 斯 随机 变量 。 将 这 个 结果 代入 式 (3-56) 可 得 X 的 累积 分 布 函数 为 ; 
Pitz} = =g) (3-58) 


根据 这 个 表达 式 ， 就 可 以 用 QGCz) 表 示 任 意 一 个 高 斯 随机 变量 的 累积 分 布 函数 。 
对 于 一 个 零 均 值 的 高 斯 随机 变量 ，X 的 取 值 在 3 倍 标准 差 之 内 的 概率 为 : 
P(|X|< 30) = Fx (3a) — Fx (— 30) = 1 — 2Q (30/0) =s 0. 9973 (3-59) 
其 中 用 到 了 Fx( 一 3) 二 1 一 Fx(3)， 而 且 根 据 式 (3-58)， 参 数 o 在 运算 中 被 消 掉 了 。 < 
证 明 高 斯 概率 密度 函数 下 方 的 面积 为 1。 通过 式 (3-58) 的 变换 ， 可 以 将 标准 
高 斯 概率 密度 函数 进行 如 下 积分 : 
| Cod = ala (— y’/2)dy | (3-60) 
这 种 类 型 的 积分 往往 可 以 采用 取 平 方 的 方法 来 计算 ， 此 时 得 到 一 个 二 重 积 分 ， 转 换 到 
J A $E £ F A: 
| [exp (9 epi 2/2 dede = F ep (i add c74 43-61) 
y 二 rcos(#$)，z 二 rsin($)， 所 以 有 二 yy 十 z*。 该 变换 的 雅克 比 变换 因子 为 ; 
Əy/ər Əy/Ə$7 _ cos(g) —rsin(#)4 _ 
J 一 dat far i” det| hes rcos($) j= Ú 
所 以 可 得 dydz= | J | drdé$=+drdé, (# 4 章 还 会 介绍 雅克 比 ， 它 可 用 于 随机 变量 的 一 般 变 
换 ， 附 录 G 也 会 对 其 进行 总 结 。) 因 此 ， 根 据 部 分 积分 可 得 ; 
Ea ah ayay d qi= az (3-63) 
对 式 (3-61) 取 平方 根 ， 代 入 上 面 的 结论 可 得 : 


(3-62) 
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| em (— y?/2)dy = Vr (3-64) 
结论 得 证 。 4 
3.8.2 ”对 数 正 态 随机 变量 
对 高 斯 随机 变量 取 指 数 可 得 对 数 随 机 变量 。 如 果 外 服从 参数 为 (0) 的 高 斯 分 布 ， 那 
么 Y=exp(X) 服 从 对 数 正 态 分 布 ， 概 率 密 度 函 数 为 : 
be 1 
fry) = 
y 2 


nO 

其 中 In(z) 会 log.(z) 表 示 自 然 对 数 。 因 为 指数 函数 是 非 负 的 ， 所 以 当 y 宇 0 时 fy (y) 的 取 值 非 
零 。 该 随机 变量 叫做 对 数 正 态 的 原因 在 于 其 逆 映 射 ， 对 数 正 态 随机 变量 Y 取 对 数 运算 后 是 高 
斯 的 。 因 为 SCX) 王 exp(X) 是 单调 递增 的 ， 所 以 可 以 根据 高 斯 分 布 的 推导 得 到 对 数 正 态 的 概 
率 密度 函数 ， 这 需要 用 到 第 4 章 介 绍 的 变换 方法 。 根 据 逆 象 X= 二 g '(Y) 二 In(Y)， 可 得 : 





exp(— (ln(y) — p)’/20) Ito. Cy) (3-65) 





= == t da = $ Ta = 2 2 |e 3 
fry) = fx (g OD gy lle (>) P h (In(y) — p)* /20 ) “ade Tro. Cy) 
1 
=— e=xp(— (In(y) — u)’ 2c2 ) Ito, Cy) (3-66) 
2 o° j ‘ 


图 3-15 为 不 同 取 值 的 (uro) 的 对 数 正 态 分 布 的 概率 密度 函数 。 均 值 py, = exp (uto /2), 
Ti # oF =exp(2u+ 20°) —exp(2p+o’ ). 
1 
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图 3-15 对 数 正 态 分 布 的 概率 密度 函数 ， 支 集 是 及 ”， 垂 线 给 出 了 wx 的 位 置 


对 数 正 态 随机 变量 是 一 个 很 有 用 的 模型 ， 尤 其 是 当 感 兴趣 的 量 取 对 数 后 服从 高 斯 分 
布 。 根 据 之 前 提 到 的 中 心 极限 定理 ， 大 量 独 立 随机 变量 的 乘积 趋向 于 对 数 正 态 分 布 。 对 数 
正 态 随 机 变量 模型 的 应 用 包括 以 下 内 容 : 

e 地 壳 中 放射 性 元 素 的 浓度 和 辐射 强度 。 

o 一 句 话 中 单词 的 个 数 。 

e 一 个 人 接触 传染 病 后 发 病 的 时 间 。 

同 高 斯 随机 变量 类 似 ， 对 数 正 态 随机 变量 的 累积 分 布 函数 没有 一 个 闭 式 表达 式 。 它 可 
以 用 误差 函数 来 表示 : 

ROS a[i tert se ) Oo (3-67) 
其 中 误差 函数 为 : 
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2 = 
erf(x) a | exp(— v’ )dv (3-68) 
NT 0 


附录 B 给 出 了 余 误 差 函 数 的 查 值 表 ， 并 讨论 了 它 的 一 些 特性 。 当 y=exp(w it, (3-67) 
的 概率 为 0. 5。 
GEID 对 于 一 个 罕 均 值 的 对 数 正 态 随机 变量 , Y 的 取 值 在 3c 之 内 的 概率 为 : 

P(Y < 30) = (1/2)[1 + erf(In(3o)/o V2) (3-69) 

我 们 可 以 看 出 ， 与 高 斯 随机 变量 不 同 ， 这 个 结果 与 o 的 取 值 有 关系 。 请 注意 ， 对 于 正 态 对 

数 随机 变量 ，c 并 不 是 它 的 标准 差 ， 它 只 是 一 个 比例 因子 。 这 里 我 们 采用 六 和 (而 不 是 采 

用 一 般 的 位 置 参数 c 和 化 例 因 子 a) 只 是 为 了 强调 对 数 正 态 和 高 斯 分 布 之 间 的 关系 。ln(o) 

随 着 o 的 增 大 而 增 大 ， 因 此 上 面 的 概率 随 着 o 的 增 大 而 减 小 的 。 例如，o 王 1 时 


P(Y=<3o)=0. 8640, m o=2 时 P(Y<30) 二 0.8148。 
GEID 很 容易 验证 ， 对 数 正 态 随机 变量 的 均值 /s,、 中 位 数 m 和 众 数 m 的 相互 关系 为 : 
mo < Me < Hy (3-70) 

其 中 m,=exp(u—o"), m.=exp(p) 。 < 


3. 8. 3” 反 高 斯 随机 变量 
反 高 斯 随机 变量 (Wald)， 也 称 作 Wald 随机 变量 ， 它 的 概率 密度 函数 为 : 


fe (ml = | zga exe(— aba — p)? /20 z) Iro (z) (3-71) 
其 中 a 二 0 为 比例 因子 ,jER 为 均值 。 方差 路 王 尼 /ae。 由 于 累积 分 布 函数 没有 闭 式 表达 
式 ， 与 高 斯 随机 变量 类 似 ， 它 也 可 以 写成 Q 函数 的 形式 : 
Fx(z) = 1—Q((z/#—1) Vax) + exp(2a/wQUa/p+)) Valz) (3-72) 
还 可 以 写成 误差 函数 的 形式 : 
Fx(x) = (1/2)[1+erfC(z/p—1) Va/2x]+ (1/2)exp(2a//) [1 — erf(x/pt1) Va/27x)] 
(3-73) 
概率 密度 函数 的 一 些 例子 见 图 3-16。 称 作 反 高 斯 随机 变量 的 原因 在 于 其 累积 量 母 函数 ( 见 
第 5 章 ) 和 高 斯 随机 变量 之 间 的 反比 关系 。 该 变量 的 一 些 应 用 如 下 : 
反 高 斯 pdf 





"g =2,a = 4 





图 3-16 反 高 斯 pdf 的 示例 。 支 集 是 R  ， 垂 线 给 出 了 jx 的 位 置 
e 描述 随机 扰动 的 时 间 ， 每 个 等 级 上 的 偏 移 都 是 正 的 ( 称 作 首次 通过 时 间 )。 
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e 给 风速 建 模 ， 尤 其 是 很 少 出 现 低 风速 的 场合 。 
e 各 行业 工人 罢工 的 持续 时 间 。 
对 Wald 随机 变量 X 取 倒 数 得 到 随机 变量 Y 一 1/X， 其 概率 密度 函数 为 ， 


fy (y) = A Dey P 09/2 —a/20 y + a/p) Ito. (g) (3-74) 
上 式 通过 累积 分 布 函 数 可 以 很 容易 得 到 : 
Fy(y) = P(1/X < y) =.P(X > 1/y) = 1—Fx(1/y) (3-75) 
而 两 边 同 时 乘 以 XS 并 不 会 影响 不 等 式 的 方向 ， 因 此 可 得 : 
fen) = fx(1/y)(1/y°) (3-76) 


将 z= 二 1/y 代入 式 (3-71)， 将 结果 乘 以 1JVY ， 整 理 指数 函数 表达 式 ， 得 到 式 (3-74) 。 丁 
对 于 一 对 一 映射 了 二 Ya(X 一 1)/VXn，Y 的 概率 密度 函数 为 如 下 表达 式 ( 见 
习题 4-26)， 支 集 为 yER: 
fr) = LG — y/ Jia p F y expl y*/2) (3-77) 
J2n 
这 个 结果 非常 有 趣 ， 它 是 标准 高 斯 随机 变量 概率 密度 函数 与 一 个 表达 式 的 乘积 ， 该 表达 式 


是 常数 1 和 有 函数 y/ /4a/u y 之 差 。 根 据 这 个 结果 ， 很 容易 验证 fy(y) 下 方 的 面积 为 1， 
因为 奇 函 数 部 分 的 积分 为 0。 考虑 下 面 这 个 变换 Z 二 |Y| ， 其 累积 分 布 函数 为 : 


P(Z< 2) = Piz Ys) =F. (1— y/ V4a/p+ y )exp(— y° /2)dy 
v1 一 = 





= j 2 E Ñ 2 
=—— | exp (— y’/2)dy = | exp (— y’/2)d 
a Gee 





J2n 
(3-78) 
其 中 奇 函 数 部 分 的 积分 为 0。 对 > 求 导 ， 得 到 概率 密度 函数 表达 式 为 : 
f; ed = =Š sapi — 95 (3-79) 
2x 


上 式 对 应 的 是 零 均 值 单位 方差 的 标准 半 - 正 态 分 布 ( 稍 后 会 介绍 )。 根 据 Z= |Y | T 2 Z 的 
支 集 是 及 + ， 同 样 ，fz(z) 下 方 的 面积 为 1。Z 的 概率 密度 函数 也 可 以 通过 变换 2Z 一 |U| 类 


Mik, 其 中 U 是 标准 高 斯 随机 变量 。 < 
3.8.4 指数 随机 变量 ( 单 边 ) 
指数 随机 变量 的 概率 密度 函数 为 : 
fx a) = dexp(— Az) Ito. (z) (3-80) 


位 置 /比例 参数 4 二 0 决定 了 该 函数 的 下 降 速 度 ， 比 例 因子 1/4 被 称 作 “ 等 待 时 间 ”。 累 积分 
H RRO: 
Fx(z) = [1 — exp(— àx) JIo. (z) (3-81) 
X X= 二 1 时 ， 式 (3-81) 为 标准 分 布 。 图 3-17 给 出 了 指数 概率 密度 函数 的 一 些 例子 。 该 分 布 
的 均值 为 n= 二 1/X%， 方差 为 尺 二 1/X* 。 支 集 为 有 尺 '* ， 还 可 以 通过 一 个 线性 变换 对 其 进行 平 
移 ， 这 将 在 第 4 章 讨论 。 假 设 平移 参数 为 <， 指 数 概 率 密度 函数 的 表达 式 为 : 
f x(x) 一 Mexp( 一 人 ( 工 一 c)) 开 -< 人 《Z) (3-82) 
指示 函数 确保 概率 密度 函数 在 rz 三 c 时 是 非 零 的 。 指 数 随机 变量 在 许多 应 用 场合 是 一 个 非 
常 有 用 的 模型 ， 尤 其 是 对 一 个 事件 的 时 间 感 兴趣 的 场合 ， 包 括 : 
e 泊 松 随机 过 程 的 到 达 时 间 ( 见 第 6 章 )。 
© 放射 性 粒子 的 衰变 。 
o 一 个 电子 元 器 件 的 失效 时 间 。 
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图 3-17 ”指数 概率 密度 函数 的 例子 ， 支 集 是 及 ， 垂 线 给 出 了 px 的 位 置 


指数 随机 变量 的 中 位 数 可 以 通过 计算 Fx(0.5) 得 到 : 

2(1 一 exp(— Am.)) = 1=>m, = In(2)/A (3-83) 
式 (3-80) 的 众 数 始终 为 0， 因 此 有 m<m.<p,. < 
48 A IA E E (Ju 2 ñ JJ p E bq PHO, Jk Bj u Z BG #L E E 0 Ik, A E] A 
a=1/A, Wik k r* 一 1。 伽 马 随 机 变量 稍 后 会 进行 介绍 。 通 过 适当 的 变换 ， 指 数 随 机 变量 

可 以 与 其 他 类 型 的 随机 变量 有 关联 ， 包 括 极 值 分 布 (在 后 面 也 将 介绍 ): 
Y = c—aln(X) (3-84) 

其 中 <cE 及 表示 位 置 参 数 ，a 二 0 为 比例 因子 。 对 累积 分 布 函 数 进 行 整理 
P(Y < y) = P(eç — aln( X) < y) (3-85) 

= P(X > exp((c — y)/a)) = exp(— Aexp((y—c)/a))) 

式 (3-85) 最 后 一 行 就 是 4 二 1 时 极 值 分 布 的 累积 分 布 函数 。 请 注意 ， 在 式 (3-85) 中 由 于 


ln(。) 是 单调 的 ， 因 此 并 不 会 影响 不 等 式 的 方向 。 < 
对 指数 随机 变量 的 累积 密度 函数 进行 整理 得 到 ; 
PUSS 2). = 1S Seed (3-86) 
从 式 (3-86) 可 以 看 出 X 是 无 记忆 的 。 对 于 任意 g 之 0， 有 下 面 的 结论 ， 
P(X >2+6|X >6) = PCX 372) (3-87) 
根据 条 件 概率 有 : l 
a = — ZETLA >D Ë = =. (3-88) 


代入 式 (3-86) 可 得 : 
POX mdi = t = apa se Pana. G80 
这 正 是 我 们 期 待 的 结论 。 如 果 已 知 X>p8，0 二 00， 那么 X 大 于 z 十 2 的 概率 与 忆 (X 之 z) 是 相 
同 的 ， 其 中 X 是 原始 的 (未 平移 的 ) 指 数 随 机 变量 。 图 3-18 形象 地 表示 了 这 种 无 记忆 特性 。 
接 下 来 ， 我 们 证 明 无 记忆 特性 实际 上 定义 了 指数 概率 密度 函数 。 
定理 3-3 指数 随机 变量 是 唯一 具有 无 记忆 特性 的 连续 随机 变量 。 
证 明 : 对 于 如 下 的 条 件 累 积分 布 函数 : 


_ Pa < X< z+b) r 
RI (3-90) 
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fx(x), fx(x-b) 





图 3-18 指数 随机 变量 的 无 记忆 特性 ，A 王 1。 两 条 曲线 到 各 自 垂 线 下 方 的 面积 是 相同 的 。 以 xX>b>0 
为 前 提 条 件 等 同 于 将 f OAE b, glp 0 一 2 


根据 无 记忆 特性 ， 
Fx(z +b) — Fx (b) 
1 — Fx (b) 
其 中 FO MERE BAY BA RR, Fy (0) =0 是 边界 条 件 。 根 据 积分 运算 ， 我 们 
将 等 式 两 边 同 时 除 以 (x 十 b) 一 6， 并 令 20 得 到 Fx (WE z==b Al z==0 处 的 导数 : 
Rw = Fk(0)> AF x(x) = [1—Fx(2) Éy (0) (3-92) 
为 方便 ， 我 们 已 将 上 式 中 的 变量 替换 为 z. 上 式 是 一 个 一 阶 微分 方程 表达 式 ， 最 终 的 结果 
一 定 是 指数 形式 :1 一 Fx (xz) 二 aexp(cx)，a 关 0。 将 这 个 表达 式 代 人 式 (3-92)， 求 导 后 可 得 : 
一 acexp(cz) = aexp(cr) Fx (0) >c =— Fx(0) (3-93) 

对 于 连续 随机 变量 ， 其 累积 分 布 函 数 的 导数 是 正 的 ， 因 此 可 知 co, RA c= 二 一 A 到 
表达 式 1 一 Fx(z) 中 可 得 : 

1 — Fy (x2) = aexp(— Az)=Fx(z) = 1— aexp(— Az) (3-94) 

对 上 式 进 行 求 导 可 得 a =A 时 的 概率 密度 函数 ( 即 式 (3-80))， 命题 得 证 。 

3.8.5 拉 普 拉 斯 随机 变量 (双边 指数 ) 
拉 普 拉 斯 随机 变量 ， 也 称 作 双边 指数 随机 变量 ， 概 率 密度 函数 为 : 

fx (Zr) = (1/2a) exp(— |i p| fad T og hed (3-95) 
AwE 尺 表示 均值 ， 比 例 因子 a>0 决定 了 该 函数 的 下 降 速 度 。 拉 普 拉 斯 概率 密度 函数 是 通过 对 
式 (3-82) 的 指数 概率 密度 函数 进行 平移 变换 得 到 的 : 添加 它 的 “镜像 ”二 jw， 设 4 二 1/%4， 对 结 
果 乘 以 也 2 的 比例 因子 ， 保 证 双边 概率 密度 函数 下 方 的 面积 为 1。 不 同 于 指数 概率 密度 函数 
PAA, a 是 一 个 严格 的 比例 因子 并 且 与 是 独立 的 。 对 拉 普 拉 斯 随机 变量 X 取 绝 对 值 | XX| 
运算 ， 并 且 代 入 c=1/A 和 p=0, X 就 退化 为 标准 指数 随机 变量 (不 要 将 |X| 与 集合 的 基数 相 
混 涌 ) 。 拉 普 拉 斯 概率 密度 函数 的 例子 如 图 3-19 所 示 ， 方 差 为 ox 二 20 。 

拉 普 拉 斯 随机 变量 在 许多 场合 是 一 个 非常 有 用 的 模型 ， 尤 其 是 当 概 率 密 度 函 数 存 在 
“大 拖 尾 现象 时。 从 图 3-20 可 以 看 出 ， 拉 普 拉 斯 和 高 斯 概率 密度 函数 的 外 形 非常 相似 ， 
不 过 拉 普 拉 斯 分 布 的 概率 密度 函数 在 z= 二 处 有 一 个 尖峰 ， 而 且 它 下 降 得 更 缓慢 一 些 ， 这 
是 拉 普 拉 斯 分 布 中 的 exp( 一 z) 与 高 斯 分 布 中 exp( 一 x) 的 缘故 。 拉 普 拉 斯 随机 变量 的 应 用 
包括 : 


= Fx(z)— Fx(0) (3-91) 
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图 3-19 拉 普 拉 斯 概率 密度 函数 的 例子 ， 支 集 是 尺 ， 垂 线 给 出 了 px 的 位 置 
0.4 


0.35 
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0.25 






0.2 


E 


0.15 
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图 3-20 高 斯 (so 二 1)， 拉 善 拉 斯 (a 二 Vx/2)， 柯 西 (a 二 V2/7) 的 概率 密度 孔 数 ,位 置 参数 都 相同 
(一 c 一 0) 。 选 取 适 当 的 比例 因子 ， 使 得 三 个 概率 密度 函数 的 最 大 值 相同 


e 脉冲 噪声 中 的 信号 检测 ， 需 要 比 高 斯 噪声 更 严重 的 拖 尾 。 
e 编码 和 解码 中 语音 信号 的 建 模 。 


e 将 非 对 称 拉 普 拉 斯 分 布 ( 见 例 3-24) 用 于 财经 数据 建 模 ， 比 如 利率 。 


拉 普 拉 斯 随机 变量 的 累积 分 布 函 数 为 : 
(1/2)exp( (x — py)/a), rip 
F = -96 
xe) 1— (1/2)exp(—(z—p)/a), =Z > ee 
=(1/2)(1 + sgn(z ^ p) (1 — exp(— |z— p| /a) ]) L. y (z) (3-97) 
其 中 符号 函数 为 ( 见 附录 B): 
15 x= =Q 
A aa a 

sgn(z) 全 | (3-98) 


拉 普 拉 斯 分 布 的 累积 分 布 函 数 推 导 过 程 如 下 。 对 x 过 j 的 部 分 直接 积分 ， 通 
过 变换 荐 换 who—p: 


P(X < x) =a⁄2 | exp ((v—p)/a)dv 
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=(1/20)| “exp (w/a)dw = (1/2) exp((x — u) /a) (3-99) 
对 于 Xx 之 jp 的 部 分 : 
P(X <2) = 0⁄2) |" exp (lo —ptadde+ (1/2a) |" exp Cs 


(3-100) 
将 积分 拆 成 两 部 分 ， 目 的 是 为 了 去 除 绝对 值 运算 符 。 再 次 进行 变量 替换 叫 会 vu 一 jy， 可 得 : 


PCS = z) =(1/2a)| exp (w/a)dw + (1/2a)| “exp (— w/a) dw 


= (1/2) — (1/2)Lexp(—(z— p)/e) — 11 es ta 
=1— (1/2)exp(— (z — p)/a) 
将 这 个 结果 与 式 (3-99) 合 并 在 一 起 ， 得 到 式 (3-97) 。 < 





三 个 四 分 位 数 CM 一 4 的 分 位 数 ) 将 一 个 概率 密度 函数 分 为 了 四 个 部 分 ， 每 部 
分 都 是 四 分 之 一 的 面积 。 第 2 个 四 分 位 数 就 是 该 分 布 的 中 位 数 m.。 很 显然 ， 由 于 拉 普 拉 
斯 分 布 是 对 称 的 ， 因 此 m. 二 jv。 四 分 位 数 是 通过 求解 连续 随机 变量 的 累积 分 布 函数 得 到 
的 ， 即 Fx(qg,) = m/4,m = 1,2,3, 33 m=1 时 ， 由 式 (3-96) 中 的 第 一 个 表达 式 得 到 : 


(1/2)exp( (gi — 1)/a) = 1/4>q = p—aln(2) (3-102) 
当 m=3 时 ， 根 据 式 (3-96) 中 的 第 二 个 表达 式 得 到 ， 其 中 In(2)==0. 6931, 
1 — (1/2)exp(— (q; —p)/a) = 3/4=>q, = p+ aln(2) (3-103) < 





B24 在 此 研究 各 种 非 对 称 的 拉 普 拉 斯 分 布 (S. Kotz, T. J. Kozubowski, K. 
Podgorski)。 一 般 情况 下 ， 它 们 总 可 以 被 表示 成 指数 函数 的 形式 ， 具 体 如 下 : 
fx (z) = (p/n )exp(— (a — /ai) Ire (z) + (p; /as)exp((z— €)/a2) Too) (z) 
(3-104) 
正 数 {ase} 给 出 了 概率 密度 函数 下 降 的 不 同 速度 ， 众 数 为 c。 这 两 个 “半边 概率 密度 函数 ” 
在 二 c 处 必须 有 相同 的 取 值 ， 因 此 有 pi/ai 二 ps/as:。 同 样 的 ， 为 了 确保 整体 是 一 个 有 效 
的 概率 密度 函数 ， 必 须 保证 pi 十 ps 二 1 成 立 ， 此 时 可 得 : 


pi = a/(a + as); ps = as / (m + a2) (3-105) 
图 3-21 给 出 了 一 些 非 对 称 拉 普 拉 斯 随机 变量 的 例子 。 可 以 很 容易 的 验证 均值 为 (见习 题 5-29): 
Hx = ç 十 piai P. a; (3-106) 


0.45 





: — =<, = l.a,=2,c=0 
0.4 : a,=1,4,=4,c=1 
f : |- .01=2,0,=0.5,c=-1 


3-21 非 对 称 概 率 密度 函数 ( 式 (3-104)) 的 一 些 例子 ， 支 集 是 及 ， 垂 线 给 出 了 py 的 位 置 
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HRY aSa 时 ， 均 值 与 众 数 < 相等 ， 此 时 的 分 布 是 对 称 的 。 < 
3.8.6 柯 西 随机 变量 
柯 西 随机 变量 的 概率 密度 函数 为 : 
I as aln ~ 
fx) = tl (z) (3-107) 


其 中 a 二 0 为 比例 因子 ，c ER 是 位 置 参数 。 柯 西 随机 变量 也 称 作 柯 西 一 洛 伦 兹 随机 变量 。 
在 第 5 章 将 会 学 习 到 ， 尽 管 柯 西 概率 密度 函数 有 个 很 明显 的 中 点 (用 c 来 表示 )， 但 均值 wx 
不 存在 。 相 应 的 累积 分 布 函 数 为 : - 

Fy (z= [1/2 + (1/m)arctan( (x — c)/a) JI Q. (z) (3-108) 
c=0 Ma=1 为 标准 柯 西 随机 变量 。 图 3-22 给 出 了 柯 西 概率 密度 函数 的 一 些 例子 ， 在 图 3-20 
中 还 将 其 与 高 斯 和 拉 普 拉 斯 概率 密度 函数 进行 了 对 比 。 可 以 看 出 ， 柯 西 概 率 密度 函数 是 三 
种 分 布 中 下 降 最 慢 的 ， 它 的 大 拖 尾 与 拉 普 拉 斯 分 布 非常 相似 。 因 此 ， 在 “ 离 群 数据 ”(x 中 
非常 大 的 正 值 和 负 值 ) 很 容易 发 生 的 场合 ， 柯 西 随机 变量 的 模型 比 高 斯 随机 变量 更 准确 。 
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图 3-22 柯 西 概率 密度 函数 的 例子 ， 支 集 为 尺 ， 因 为 px 不 存在 ， 垂 线 给 出 的 是 m. 的 位 置 
一 个 函数 的 拐点 发 生 在 其 二 阶 导 数 改 变 符号 的 时 候 。 对 于 柯 西 分 布 有 : 





Efra) = PEZ mima er E>. (3-109) 
HEKHAO, MHBKF rR, 2) W 4 9 K : 

z =cta//3 i (3-110) 

将 结果 代入 累积 分 布 函数 可 得 : 
Fx(c £a/ V3) = 1/2 + (1/=)arctan(+ 1/ /3) = {1/3,2/3} (3-111) 
高 斯 随机 变量 的 对 应 的 值 就 已 经 在 这 个 区 间 之 外 了 (见习 题 3-20), ， 这 很 好 地 说 明了 柯 
西 分 布 有 更 严重 的 拖 尾 。 < 

柯 西 随机 变量 的 应 用 场合 包括 : 


e 从 一 个 点 源 发 射出 的 粒子 击 中 一 个 固定 直线 的 分 布 。 
e 如 果 X 和 YY 是 独立 的 标准 高 斯 随机 变量 ， 那 么 Z= X/Y 是 标准 柯 西 随机 变量 ( 见 
第 4 章 )。 
e 地 震 几 何 学 的 表示 。 
尽管 柯 西 分 布 的 均值 以 及 其 他 阶 矩 都 不 存在 ， 但 柯 西 分 布 的 中 位 数 和 众 数 是 存在 的 ， 
二 者 都 等 于 总 
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GERD 为 不 乒 一 般 性 ,假设 c=0， 所 以 概率 密度 函数 的 中 心 在 二 0 处 。 柯 西 分 布 
的 均值 可 以 计算 如 下 : 


| zy 818 dr = (a/2n)log FANA = co 一 co (3-112) 
— Z +e 
可 以 看 出 ， 得 到 的 结果 是 没有 定义 的 (并 不 是 0)。( 请 参看 附录 下， 包括 0 和 co 的 各 种 等 式 ,) < 
ieee 柯 西 随机 交 量 的 分 位 数 计算 如 下 , m= 二 1,…,M 一 1: 

1/2 + (1l/nx)arctan((g, — c)/a) = m/ M=q,, = c +atan( (2m — M)x/2M) (3-113) 
34 c=0, a=1 时 的 十 分 位 数 (M 二 10) 为 一 3.0777,， 一 1.3764, —0.7265, —0. 3249, 0, 
0. 3249，0. 7265，1. 3764 和 3.0777. < 
3.8.7 ”连续 均匀 随机 变量 


均匀 分 布 随机 变量 的 概率 密度 函数 在 丸 的 一 个 有 限 支 集合 上 是 平坦 的 (和 抢 形 的 )。 在 区 

E [asb] E,a be RA a<b, HOARSE BAK: 
fa) = zlu (a) (3-114) 

tB, BY E RERA 7 EK pR 2k B JÉ zÇ : 

flay = = 
式 (3-15) 中 用 1/(6 一 a) 进 行 了 归 一 化 处 理 ， 确保 fx Ca) PAT 1. E 3-23 给 出 
了 均匀 分 布 概率 密度 函数 的 一 些 例子 。 均 匀 分 布 的 均值 为 a= (a +b)/2, 方差 为 ox 二 
(0 一 0)27/2， 这 对 于 噪声 模型 是 一 个 非常 有 用 的 结果 ， 尤 其 是 当 离散 时 间 信 和 号 被 量化 的 时 


候 ( 见 第 10 章 )。 当 a=0 Al b= 1 时 为 标准 均匀 分 布 随 机 变量 。 因 为 均匀 分 布 概率 密度 函 
数 是 平坦 的 ， 其 累积 分 布 函 数 必然 是 关于 + 的 一 个 线性 增长 的 函数 : 





[ulr—a)— ulr—b)] (3-115) 


0， Ba 

Fy (x) -eo a<x=—<— b 
T; z == (3-116) 
og 


= Tray (x) + Lu, a (xr) 


b—a 





——az=-0.5, b=1 
= = =&=0.5, b=2.5 
wm-2 b= -1° 





-3 -2 -1 0 1 2 3 


x 
图 3-23 连续 均匀 分 布 的 概率 密度 函数 ， 支 集 是 Lab], ERHET wx 的 位 置 


在 表达 式 中 一 定 要 加 入 指示 函数 Lo (xz)， 这 样 才 能 保证 xz 超出 fx Co) AE 
Fx(Cz) 王 1。 累 积分 布 函数 也 可 以 表示 成 斜坡 函数 的 形式 : 
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F(z) = [Rr — a) — RG — b) Meany (z) (3-117) 
其 中 斜坡 函数 的 定义 为 ( 见 附录 B): 
Riera == (3-118) 
OO; 一 二 Q, 


概率 密度 函数 是 平坦 的 ， 意 味 着 Lab] 中 所 有 宽度 相同 的 子 区 间 具 有 相同 的 概率 : 对 
于 过 os gy ie a 并 且 Tys Heo Tzs Xs € [a,b], 如 果 Lila; ,22 |) 一 Pl ss ye Ys 
L(。) 表 示 的 是 工 WHE. IBAA: 

Per SX <2) = Pa, < X < x.) (3-119) 

均匀 分 布 子 区 间 的 概率 并 不 取决 于 该 子 区 间 在 随机 变量 支 集 里 的 具体 位 置 。 当 所 有 的 
输出 都 是 “等 随机 的 ”应 用 场合 ， 均 匀 分 布 随 机 变量 是 一 个 非常 有 用 的 模型 。( 这 个 表达 式 
对 于 离散 均匀 分 布 随机 变量 具有 更 多 的 含义 ， 所 有 输出 结果 都 有 相同 的 概率 ， 即 有 限 数量 
的 输出 结果 是 “等 可 能 的 ”。) 

均匀 分 布 随机 变量 的 应 用 场合 包括 : 

e° 一 个 数字 系统 中 对 噪声 的 量化 。 

e 随机 数 发 生 器 (在 第 1 章 已 经 讨论 过 了 ) 。 

e 在 第 1 章 中 讲 过 ， 对 于 任意 连续 随机 变量 X 及 其 累积 分 布 函数 FEx(Cz)， 概 率 积分 变 

换 Y= 二 Fx(z) 可 以 得 到 标准 均匀 分 布 随 机 变量 。 
UER 对 于 c,d c [a,b] 可 得 : 
| rcopdz =de paN (3-120) 
这 个 结果 证 明了 等 宽度 区 间 具 有 相同 概率 的 特性 ， 即 式 (3-119) < 

通过 变换 Y= 二 一 lIn(XX)/A4， 标 准 均 匀 分 布 随机 变量 X 和 指数 随机 变量 具有 如 

FRA, HP a=0, b=1: 
P(Y < y) =P(— In(X)/A < y) = P(X > exp(—Ay)) 31915 
=1— P(X < exp(—Ay)) = 1—exp(— Ay) 
上 面 最 后 一 个 表达 式 其 实 就 是 指数 随机 变量 的 概率 密度 函数 。 < 
3.8.8 三 角 随 机 变量 
三 角 随 机 变量 的 概率 密度 函数 为 : 


fa) = | a(x) HPE lz) [Tule —a) —u(z —b)] (3-122) 


Hp a,b,c € R B a<c<b, ZEH py ANANTA fx (z) E — 438 HJ ñ = fi BK, 
上 升 部 分 的 斜率 (1/(c 一 a)) 不 一 定 与 下 降 部 分 的 斜率 (1/(b 一 c)) 相 等 。 均 值 为 kx = (a+ b+ 
c)/3， 方 差 为 0 二 (a 十 所 十 c 一 ab 一 ac 一 bc)/18。 图 3-24 给 出 了 三 角 分 布 概率 密度 函数 的 
一 些 例子 。 

累积 分 布 函数 为 : 

Fra = 于 -| 全 二 4 T(z) + (bo -a hen Gorla (2) (3-123) 

在 式 (3-123) 中 引入 Ju- (Tz)， 这 样 确保 当 z HB fx Co) 2 EBE Fx (z)=1, Fx(z)#£E 
z= HAR FERC Fy (a) Wd RED T 2k (Di frt A 中 累积 分 布 函数 的 例 
F), Fy (a) TEAR BU A (c—a)/(b—a), "4 BRIM 4 c= (a +b)/2 时 Fx(x) 取 1⁄2, 
此 时 的 三 角 函 数 关于 c 对 称 。 

三 角 分 布 随机 变量 的 应 用 包括 : 

e 当 一 个 分 布 的 最 大 值 、 最 小 值 以 及 “最 有 可 能 的 ”" 取 值 都 是 已 知 的 ， 对 该 分 布 进行 建 

模 ( 分 别 对 应 于 a、65、c 的 估计 )。 
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——a=-15,b=1,c=05 | 
---a=0,b=25,c=2 


SRM a -2,b=0,c=-1.3 





-3 -2 =f 0 1 2 3 
图 3-24 三 角 分 布 概率 密度 函数 的 一 些 例 子 ， 支 集 为 Lab], 垂 线 标 出 了 px 的 位 置 


e 对 beta 分 布 进行 近似 (后 面 章节 将 会 具体 讲 到 ) 。 
e 数字 信和 号 的 抖动 显示 ， 目 的 是 为 了 降低 在 量化 过 程 中 引起 的 失真 ， 并 且 与 原始 信和 号 
是 相互 关联 的 。 
GEED 三 角 随 机 变量 的 斜率 系数 可 以 通过 它 的 三 阶 中 心 矩 六 ;( 定 义 见 第 5 章 ) 和 方 
Z ox AMR A) 推 导 得 到 ， 
(a + b— 2c)(2a — b — c)(a — 26+ c) 
WE et ie (3-124) 
从 分 子 部 分 可 以 看 出 ， 当 且 仅 当 c =(a+b)/2 W yy=0, BH a<c<b, HF PH AKAM 
不 可 能 为 0。 当 a 二 0 和 0 王 1 B: 


d= (V2/5) s: Sa La 2 (3-125) 


结果 如 图 3-25 所 示 。 当 c>1/2 时 ， 三 角 分 布 的 斜率 为 负 ， 意 思 是 三 角形 此 时 往 右 边 倾 斜 
(“依靠 ”); RUN, ¥cK1/2Hn>0, KHAEABELUMA. AB 3-25 同时 还 给 出 
了 c= 二 1/10 和 c= 二 3/4 时 的 概率 密度 函数 ， 显 示 了 斜率 为 负 和 正 的 变化 情况 。 


y = Hes ox =F 


yr fx(x) 


== =pdf:a=0,b=1,c=0.1 
l pdf:a=0,b=1,c=0.75 





图 3-25 例 3-30 中 ,三 角 分 布 的 斜率 系数 和 概率 密度 函数 E] 
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3.8.9 瑞 利 随机 变量 


瑞 利 分 布 随机 变量 的 概率 密度 函数 为 : 
fx (a) = (2/0? yexp(— x? /2a?) Iro (x) (3-126) 
其 中 a 二 0 为 比例 因子 。 累 积分 布 函 数 为 : 
Fx (z) = [1 — exp(— z° /2e° Ito,» (z) (3-127) 


图 3-26 给 出 了 a 取 不 同 值 时 瑞 利 分 布 概率 密度 函数 的 一 些 例子 。 均 值 为 wx =a Vx/2, 
BEA 路 一 (4 一 r)xy/2。 对 高 斯 随机 变量 进行 求 和 时 就 会 用 到 瑞 利 随机 变量 。 特 别 的 ， 如 
果 X, 和 X, 是 独立 的 高 斯 随机 变量 ， 分 布 参数 都 为 (p= 0.0}, 那么 了 就 是 参数 为 =c 的 
瑞 利 随 机 变量 。 


Y= J/Xi+ X; (3-128) 


' 
' 
' 
' 
' 
' 
' 
' 
' 
t 
' 
' 
' 
' 
„s 
' 
' 
' 
' 
' 
I 
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这 个 结果 可 以 利用 第 4 章 介 绍 的 变换 方法 推导 得 到 。 
瑞 利 分 布 的 应 用 场合 包括 : 
e 在 无 线 通 信 信 道中 对 一 个 信号 幅度 变化 进行 建 模 ( 称 作 衰落 )， 假设 没有 明显 的 视线 
(LoS) 传 播 。 
e 超声 图 像 中 的 斑点 噪声 。 
e 对 风速 变化 进行 建 模 。 
FEBS 计算 Fx(0.5)， 得 到 瑞 利 随机 变量 的 中 位 数 为 : 
exp(—m’:/2a’) = 1/2>m. = a /2]n(2) (3-129) < 
因为 瑞 利 分 布 的 概率 密度 函数 是 单 峰 的 ， 它 的 众 数 可 以 通过 对 fx (z)2 + z 
求 导 来 计算 ， 将 求 导 结果 设 为 0: 





(1/a’ )exp(— m2 /2a’) — (m,/a’)exp(— m?/2a*)(m,/a’?) = 0 (3-130) 
消 掉 多 余 项 ， Km, TH: 
1—(m,/a)? = 0>m, = a (3-131) 
因此 ， 瑞 利 分 布 的 均值 、 中 位 数 和 众 数 都 与 比例 因子 a 成 比例 。 如 果 分 布 的 宽度 增 
加 ， 这 些 值 都 会 往 右边 平移 。 < 


在 第 9 章 中 ， 我 们 将 要 学 习 如 何 根据 N 个 独立 同 分 布 (iid) 的 样本 (Xi, 
Xn) 来 估计 一 个 分 布 的 参数 。 在 本 例 中 ， 我 们 简要 介绍 一 下 最 大 似 然 (ML) 估 计 法 ， 参 数 
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0 可 由 如 下 方法 估计 : 
Om. = arg max [| fx æn) (3-132) 


路 的 联合 分 布 是 乘积 的 形式 ， 这 是 因为 它们 都 是 独立 同 分 布 的 (联合 分 布 将 在 第 4 EH 
绍 )。 因 为 In(。) 是 一 个 单调 函数 ， 计 算 最 大 似 然 估计 的 一 个 简便 方法 就 是 对 等 式 右边 取 
对 数 最 大 值 。 AEAN A, O=a, AKA: 


Inc TT faa. )) =— Nln(a° ) + In Tz = (1/2e? DE (3-133) 
对 式 (3- 133) 关 于 a 求 导 ， 并 令 求 导 结果 为 0， 可 计算 出 a 的 最 大 似 然 估 计 值 为， 


am = Paes (3-134) 


在 此 我 们 将 结果 写成 祥 末 的 表达 式 ( 而 不是 输出 结果 人 。 这 个 估计 器 是 一 个 随机 变量 ， 
在 第 9 章 将 要 介绍 它 的 各 种 性 质 。 < 
3.8.10 莱 斯 随机 变量 
莱 斯 (Rice) 随 机 变量 可 以 被 看 作 是 瑞 利 随 机 变量 的 一 般 形式 ， 只 是 位 置 有 所 变化 。 莱 
斯 随机 变量 的 概率 密度 函数 为 : 
fx(z) = (2/a* Dexp(— (2° + c*)/2a7) I, (cz /a?) Iio. (z) (3-135) 
其 中 a 二 0 表示 比例 因子 ，c>0 是 位 置 参 数 ，I, (xz) 是 修正 的 零 阶 第 一 类 贝 赛 尔 函数 ( 见 附 
K B)。 累 积分 布 函数 为 : 
F(z) =1 -| (v/a Jexp(— (v +c’) /2a7) Ip Ccu/a’ ) dv 
(3-136) 


=] -F wexp(— w /2 — c /2a2 ) L, (cw/a) dw 

进行 变量 替换 w=v/a; 将 积分 表达 式 写 成 一 般 MarcumQ 函数 的 形式 Q,, (a, b), WF: 
Re 一 一 人 人 jz (3-137) 
莱 斯 分 布 概率 密度 函数 的 例子 如 图 3-27 所 示 。 当 c=0 时 莱 斯 随机 变量 退化 为 瑞 利 随 
机 变量 ， 此 时 L (ca/a® )=1, SRW py =a Vx/2Lys( 一 /2a?)， HHA ok = + 2a 一 
(na? /2)L%s( 一 c*/2a*)， 其 中 工 ,(z) 是 拉 盖 尔 多 项 式 ， 也 可 以 写成 合流 超 儿 何 函 数 的 形式 


—c=2,a x= 0.75 
-=C=2 as1.5 
C=2,a=3 


见 附录 B). 





图 3-27 莱 斯 概率 密度 函数 的 例子 ， 支 集 为 尺 *， 垂 线 指示 了 jx 的 位 置 
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莱 斯 随机 变量 的 应 用 场合 包括 : 

e 在 无 线 通 信 信 道中 没有 明显 的 视线 传播 时 (从 发 送 端 直接 到 接收 端 )， 接 收 信号 幅度 的 变化 。 

e 人 厂 共 振 成 像 中 的 噪声 模型 。 

与 瑞 利 随机 变量 类 似 ， 莱 斯 随机 变量 也 可 以 通过 两 个 独立 的 高 斯 随机 变量 来 产生 。 根 
据 式 (3-128)， 高 斯 随机 变量 的 标准 差 为 二 a, (AAE{X,, X} AAEM ccos(0) 和 csin(9) 形 
AWERSIE, EL r, nle Xi 的 均值 可 以 取 任 何 值 ，X; 的 均值 也 是 与 其 有 联系 的 ， 
因为 式 (3- 128) 对 角度 是 不 变 的 ， If Ac? = c° cos°0+ c sin20, WER FE pK BY BJ E Se PB DL 
{ij 3-34。 

设 X, 和 X, 是 独立 的 高 斯 随机 变量 ， 分 布 参 数 分 别 为 (pu, = ccos(0),o) 和 
{um = csin(0),o)。 它 们 的 联合 概率 密度 函数 (定义 见 第 4 章 ) 就 是 独立 (边缘 ) 概 率 密度 函数 
的 简单 乘积 : 

fx, .x, (Z122) = (1/2ro’ )exp(— [zi — ccos( T /20°)exp(— Lx, — esin(@) ]’/20°) 

(3-138) 

莱 斯 概率 密度 函数 的 推导 过 程 为 : (| ) 将 随机 变量 变换 到 极 坐 标 系 下 ， 即 R= 
VXI tX, P=arctan(X,/X), CORREM E EREA fror, PREF SRD, HA 
莱 斯 分 布 的 概率 密度 函数 fa(r)， 因 为 根据 定义 及 是 莱 斯 随机 变量 。 对 于 极 坐 标 系 ， 有 下 
面 的 结论 : 

zı = rcos($),z, = rsin(¢)>r = Jz? +23 ,$ = arctan(zx; /zi ) (3-139) 
得 到 下 面 的 雅 可 比 人 矩阵 ( 见 附录 G): 
7 oie =f a | rdt 2/ vite 
of/dr, Ə%/Əx; = Z Ct +2) 六 XB +23) 

# | o eI KEAR, 可 得 | 本 | 二 1/ Vxi 十 Zz 二 1/r。 因 此 ，R # O 的 联合 概率 

ER BRA: 


(3-140) 


fa. 6 r $) = (r/2n0? exp(— [r + c° — 2recos(¢ — 0) ]/20°) (3-141) 
其 中 上 式 用 到 了 cos($ 一 0) 二 cos(0)cos($8) 十 sin(0)sin($)。 对 上 进行 积分 可 得 : 


2x 
fa (r), =(r/2n0’ )exp(— [r +]/20"> exp([rc /o° |eos(¢ — 6) ) d¢ 


= (r/o Jexp(— [r+ e ]/207) 1, (re /o") 
我 们 在 此 用 到 了 下 面 的 结论 ， 即 cos 函数 在 一 个 完整 区 间 上 的 积分 可 以 写成 下 面 的 形式 : 


2r 2x 
C1/2n)| exp([ rc /o° ]cos($ — 0) )d$ = (1⁄2) | exp([re/o’ ]cos($))dé = I, (re/o") 
0 0 


(3-142) 


(3-143) 
上 式 对 于 任意 的 相 移 0 都 成 立 。 式 (3-142) 的 结果 就 是 莱 斯 概率 密度 函数 ( 见 式 3-135, c= 
i == xy < 
3.8.11 WMBENEE(r EN 时 为 埃 尔 朗 (Erlang) 分 布 ) 
伽 马 (Gamma) 随 机 变量 的 概率 密度 函数 为 : 
frl = Ppp ) (3-144) 


其 中 4 二 0 AAA. r>0 为 形状 参数 ，T(-) 是 伽 马 函数 ( 见 附录 B) 。 伽 马 概率 密度 函数 的 例 
PILE 3-28。 累 积分 布 函数 无 法 写成 闭合 表达 式 ， 为 了 方便 一 般 可 以 写成 如 下 表达 式 : 


(rsAz) 
Fa = r, bret (3-145) 
其 中 下 式 是 下 不 完全 伽 马 函 数 : 
Ar 
viraan) A | uv™'exp(— v)dv (3-146) 
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f(x) 





图 3-28 fil SRR RHI. RAR, BART px 的 位 置 


对 于 任意 rER, MERAH H yro) 给 出 。 因 此 ,“ 不 完全 ”的 意思 是 yrr) 的 积 
分 是 在 有 限 值 Mz 所 ce 上 进行 的 。 我 们 可 以 看 出 ， 下 不 完全 伽 马 函数 的 作用 与 高 斯 累积 分 





布 函数 中 的 Q 函数 类 似 ， 同 样 也 没有 闭合 表 wz Sie eatin 
达 式 。 masm 分 布 类 型 

当 分 布 参数 取 某 些 特定 值 时 ， 伽 马 分 布 函数 一 一 一 
退化 为 其 他 类 型 的 分 布 ， 表 3-2 对 这 些 情 况 进行 ”一 一 sm ese 
了 总 结 。 指 数 分 布 随机 变量 是 一 种 一 般 情况 ， 这 — an 
是 对 第 r WPA ABR. `4 >C NBT, (Sew 
数 简化 为 : 

T(r) 会 (r 一 1)1 (3-147) 


此 时 伽 马 随机 变量 服从 埃 尔 朗 分 布 。 通 过 变换 Y=VX( 见 习题 4-29)， 伽 马 分 布 退 化 为 
Nakagami 4f (Proakis, 2001), Nakagami 分 布 是 无 线 通 信 信 道中 的 一 种 衰落 模型 (另外 
两 种 衰落 信道 模型 为 瑞 利 分 布 和 Rice 分 布 ) Nakagami 分 布 的 概率 密度 函数 为 : 


“XY 
fo = T(r)a’ 


其 中 1/2 和 a>0 分 别 是 形状 参数 和 比例 因子 。 Y 的 均值 为 p= Vr/aT(r 十 1/2)/T(1/2)， 
HHA ak=a[1— A/T? (7 十 1/2)/T?*(r)]， 累 积分 布 函 数 为 : 
Fx(y) = y(r,ry*2/a)/T'(r) (3-149) 
伽 马 分 布 的 应 用 场合 包括 : 
e 泊 松 过 程 中 等 待 第 r 个 事件 发 生 时 的 等 待 时 间 ( 见 第 6 章 )。 
e 财经 事务 中 的 风险 分 析 ， 比 如 对 保险 索赔 额度 的 建 模 。 
e 伽 马 过 程 是 基于 伽 马 分 布 的 一 个 独立 增 量 过 程 ( 见 第 6 章 )， 常 用 于 对 降雨 量 的 
建 模 。 
PEED 尽管 中 位 数 是 分 布 参数 的 隐 函 数 ， 但 相对 而 言 众 数 还 是 比较 容易 计算 的 。 对 
概率 密度 函数 求 导 ， 将 求 导 结 果 设 为 0， 求解 m。 TAC): 
1 
TO) 





y’ exp(— ry° /a) Iro. (y) (3-148) 





(r—1)m; exp(— im, ) 一 m,‘exp(—dam,)A = 0=m, = (r= 1)/A 


a 
Tr) 
(3-150) 
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通过 计算 可 知 当 rE(0，1] 时 mm 一 0。 < 
erie 当 A=1 时 为 标准 您 马 概 率 密 度 函 数 : 
fa try = FZ expl 2) Ito, (z) (3-151) 
通过 例 3-35 T, RA m.=r—1, Xx 进行 两 次 求 导 可 得 : 


2 
L fa) = Fr eap [t —2(r—)z-+(r—DG—2)]J (3-152) 


将 上 式 设 为 0 再 求解 x, 可 知 标准 伽 马 概率 密度 函数 存在 以 下 两 个 拐点 : 
+z = m, + m, (3-153) 
Am 开始 ， 当 工 从 指点 的 左边 移 到 右边 时 ， 概 率 密度 函数 从 上 町 函 数 变 为 了 是 函数 。 从 


图 3-28 可 以 看 出 ， 当 r= 二 5, A=1 时， 众 数 为 m, 二 4， 该 曲线 的 两 个 拟 点 分 别 位 于 x 二 {2，6})。 
< 


| 3-37 E 2 ee Tr E rL E T: 


kx = = f a exp(— andr = 4 + ie al" Ax’ exp(— Ax) dx (3-154) 
k Z # 2 29 4 # M JJ, F ENS rR, REM RA 可 知 积分 结果 为 Cr 十 1)/X”。 
又 因为 下 (r 十 1) 王 >PGCr)， 所 以 可 得 : 
px = T'(r + 1) /AT(r) = r/À (3-155) 
Tapa 2 A J 4 2 48 2 2 Ar 28 Bj r Ë. ARN, J 2 ori her fF. < 
3.8.12 ”贝塔 随机 变量 (a = B=1/2 时 为 反正 弦 ，B8 = 1 HARRA) 
贝塔 (Beta) 随 机 变量 的 概率 密度 函数 为 : 





f(a) = Be Ed (3-156) 
其 中 
Blasp te LoTR (3-157) 


rla +p) 
a, P>0 为 形状 参数 ，F(Ca) 为 伽 马 函 数 。 除 了 均匀 分 布 和 三 角 随 机 变量 外 ， 贝 塔 分 布 是 本 
书 介绍 的 最 后 一 个 具有 有 限 支 集 的 连续 随机 变量 。 贝 塔 分 布 的 累积 分 布 函 数 为 : 


Rs othan (3-158) 
Bla,B) 
其 中 下 式 为 不 完全 贝塔 函数 。 
B, Cap a | yd — yay (3-159) 


当 B, (a,B) 定 积分 的 上 限 -z=1 时， 对 应 的 就 是 完全 贝塔 函数 Bap) 。 累 积分 布 函数 

中 的 比值 称 作 规则 不 完全 贝塔 函数 (附录 B 详细 谈论 了 这 些 函 数 ): 
I,(a,p) 2 (3-160) 

贝塔 分 布 的 均值 为 yy 二 a/ (a 十 B)， 方 差 为 ox 二 aB/[ (a 十 B)* (a 十 8 十 1)]。 

Beta 随机 变量 的 应 用 场合 包括 : 

e 对 样本 (测量 值 ) 的 基本 分 布 进行 建 模 ， 并 且 样 本 的 取 值 被 限制 在 一 个 有 限 范围 内 。 

e 大 气 中 太阳 辐射 的 透射 比 。 

e 对 完成 一 个 工程 所 需 工 作 时 间 的 建 模 ， 在 PERT (Project Evaluation and Review 

Technique， 项 目 评估 法 ) 中 经 常用 到 (de Neufville and Stafford, 1971), 

如 果 需 要 将 贝塔 随机 变量 的 取 值 范围 从 [0,1] 扩展 到 Lab], 可 以 采用 下 面 更 一 般 的 

概率 密度 函数 表达 式 :. 
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1 
fx = Bl pba 
贝塔 概率 密度 函数 的 外 形 与 其 分 布 参数 有 很 大 关系 。 表 3-3 归纳 了 特例 ， 图 3-29 给 出 
了 贝塔 概率 密度 函数 的 一 些 例 子 。 可 以 看 出 ， 概 率 密 度 函 数 的 外 形 只 与 xz (1 一 z)2 这 
部 分 有 关系 ， 而 1/B(a,B) 只 是 一 个 权重 ， 要 保证 fx(x) 下 方 的 面积 为 1。( 附 录 D 中 详细 
归纳 了 连续 随机 变量 的 函数 表达 式 .) 如 果 a 二 Bp 二 1， 此 时 B(1,1) = 1, 式 (3-156) 为 : 


(w = a)" "(br ia) (3-161) 








fx z) = Tp. (a) (3-162) 
表 3-3 ”贝塔 随机 变量 的 外 形 和 一 些 特例 
贝塔 参数 外 形 
a=1, B>2(M 8=1, a>2) PR D 
a=1, 1<p<2(R g=1, 1<a<2) Je 6 MI 
a=1, p=2(M a=2, B=1) 直线 
ax 一 有 关于 1/2 对 称 
特例 分 布 
a=p=1/2 反正 弦 
a=p=1 [0，1] 区 间 上 的 标准 均匀 分 布 
p=1 FE PA BC a) 





a) 
图 3-29 贝塔 概率 密度 函数 的 一 些 例子 ， 支 集 是 [0,1], 垂 线 指示 了 jx 的 位 置 。a) a=0.5; b) a=2 


上 式 是 [0,1] 区 间 连 续 均 匀 分 布 随机 变量 的 概率 密度 函数 。 当 一 B=1/2 时 ， 得 到 反正 弦 
分 布 : 


Fy(z) = (2/m)aresin(/x) Tr (x) + Ia. (a> fx (z) = 1/0 Vx — 2) To (=) 





(3-163) 
4% 8=1 F, (RA B(a,1) = a, 得 到 寡 函 数 分 布 的 表达 式 = 
fx =) = ax”? Tronj (x) j (3-164) 
aSr» 8= r, 的 贝塔 分 布 可 以 通过 下 面 的 变换 计算 : 
Er = f 
a aE Sira (3-165) 


其 中 Y, MY. 分 别 是 参数 为 (rA) 和 (r, ,4) 的 伽 马 随机 变量 。 很 显然 ，X 的 分 布 关于 Y. 
和 Y, 都 不 是 对 称 的 。 
eee 贝塔 分 布 的 斜率 为 : 
TS8TT 2(8—a) 
> of CETE (3-166) 
从 上 式 可 以 看 出 ， 分 子 中 的 B 一 a 决定 了 斜率 的 类 型 。 图 3-29a 给 出 了 斜率 为 正 的 两 个 例子 
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(B>a)， 第 三 个 例子 是 对 称 的 (a 一 8 一 1/2)。 图 3-29b 中 的 概率 密度 函数 斜率 为 负 (6<a)， 

另外 一 种 也 是 对 称 的 (a 一 B 一 1/2)。 < 

GEED Tk. 我 们 证 明 指数 分 布 可 以 通过 变换 Y 二 BX 得 到 ， 其 中 和 是 贝塔 随机 
EH. BAGH >= 1.0, k p>, Y G KB TB Š, 
P(Y < yy =P(pX < y) = P(X Sy/ 





_By(tsp) 1l Wg EFE (3-167) 
B,D Ba.plo 1 9 qa 


汪汪 Ti 全 


LA ip KEE ¿CS A i 
Fy(y) =— sQ Bap ul v) |3 = = rora PU (1 — y/®°] (3-168) 
又 因为 TI(1)==1，T(t 十 B)/T(B) 二 B， 最 后 可 得 : 
limFy (y) = [1 — exp(— y) lIn. (z) (3-169) 
上 式 为 标准 指数 分 布 Q 一 1) 的 累积 分 布 函数 。 类 似 的 ， ri Nh ng taille Ap 
Z Y GARAR A WHA. ARARA (A = 1,r) (见习 题 3-22). < 


3.8.13 帕 雷 托 随机 变量 
帕 雷 托 (Pareto) 随 机 变量 的 概率 密度 函数 为 ， 
fx (z) = Cre" /2"™ yl, Q (C) (3-170) 
其 中 a> WHAT. AMHER BE MT LE., r—0 是 形状 参数 。 对 于 非常 小 的 r, 

4} fi Pa BO fF ZE AE A AH. RASS Ai RRO : 

Fx (2) = [1 — (a/z)' lIr (x) (3-171) 
帕 雷 托 概率 密度 函数 的 例子 如 图 3-30 所 示 。 均 值 为 py =ra/(r—1), r2>1, WHA ox = 
ra:/[(r 一 1)?(r 一 2)]，a 之 2( 和 否则， 均值 和 方差 没有 定义 )。 


—a=0.1,r=2| 
~ ~ a=0.5,r=4 
ee a=1,r=6 


fx(x) 





图 3-30” 帕 雷 托 概率 密度 函数 的 例子 ， 支 集 为 Laro), 垂 线 指示 了 wx 的 位 置 


帕 雷 托 随机 变量 的 应 用 场合 包括 : 
e 收入 和 健康 的 分 布 。 
e 通信 电路 和 硬盘 驱动 器 中 的 错误 簇 。 
GED 对 于 较 大 的 r 取 值 ， 可 以 用 帕 雷 托 概率 密度 函数 来 近似 犹 拉克 6 函数 : 
lim fx (x) = lr — a) (3-172) 
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那么 ， 帕 雷 托 累积 分 布 函数 就 可 以 近似 单位 阶 跃 函数 : 


Hino (sy = td (3-173) 
首先 ， 我 们 验证 一 下 概率 密度 函数 的 积分 是 否 为 1; 
ma’| ada == ate =] (3-174) 
然后 ， 通 过 观察 可 得 : i 
lim[ra"/z* u(x —a)] = (/z)u(z — a) limr(a/z)" = ka A Ji (3-175) 


其 中 ul(z) 就 是 单位 阶 跃 函 数 ， 并且 根据 定义 a/zx 三 1。 式 (3-174) 和 和 (3-175) 共 同 给 出 了 猴 
拉克 6 函数 在 zx 一 wx 处 的 定义 。 在 定义 狄 拉克 人 函数 时 ， 并 不 需要 原始 函数 一 定 是 偶 函 数 ， 
在 附录 B 中 使 用 的 是 矩形 函数 。 : < 

(KA) BAMZ-TSEAMPLEB, X< ë 8. ib 2 % H 2] — AE, E 
的 定义 如 下 所 示 ( 见 第 10 章 ): 


n(X) 全 一 | fx(2)log( f(x) de (3-176) 


式 (3-176) 的 对 数 函 数 可 以 任何 数 为 底 ， 不 过 我 们 经 常用 2 或 e 作 底 ， 那么 hh(X) 的 单位 就 
是 比特 (bits) 或 莱特 (nats)。 对 于 帕 雷 托 随机 变量 : 
h(X) =— [7 ra In(ra’ dr + | ra" n(x de 
Ta gi (3-177) 
= Ina +a (r+ 1) | 


因为 对 数 运 算 可 以 从 第 一 项 积分 表达 式 中 提取 出 来 ， 因 此 其 运算 结果 可 以 简化 。 剩 下 
的 部 分 是 对 帕 雷 托 概率 密度 函数 进行 积分 。 第 二 项 的 不 定 积分 结果 为 : 


MEL) 
a 





[ERa SaF be (3-178) 

因此 可 得 : 
ACK) =l Ina”) 4 ye" e+ D[ rina) F 9) 
H th KAMAL E AD et TL ROA. < 


3. 8. 14 ”韦伯 (Weibull) 随 机 变量 
韦伯 (Weibull) 随机 变量 的 概率 密度 函数 为 | 
fx (a) = (r/a) (t/a) exp(— (2/a)") Ia, (z) (3-180) 
其 中 e>0 AEWAF, r>0 是 形状 参数 。 当 a==1 时 ， 韦 伯 分 布 成 为 一 个 单 参数 函数 。 当 
r=1, a=1/) 时， 韦伯 随机 变量 退化 为 指数 分 布 随机 变量 。 当 > 一 2，a~>V2a 时 ， 韦 伯 分 
布 退化 为 瑞 利 分 布 。 均 值 为 yx 二 aT(1 十 1/r)， KZH =L rarr a+r], 
累积 分 布 函数 为 : 
Fyx(z) = [1 — exp(— (2/a)") Itok) ` (3-181) 
韦伯 概率 密度 函数 的 一 些 例子 如 图 3-31 所 示 。 韦 伯 分 布 的 一 些 应 用 场合 包括 : 
e 风速 的 分 布 ， 以 及 风力 涡轮 机 阵 的 功率 模型 。 
e 复杂 系统 中 性 能 损失 和 器 件 置 信 度 的 模型 。 
e 无 线 通 信和 系统 中 的 衰落 信道 模型 。 
D 可 知 对 于 任意 r，Fx(a) 王 1 一 exp( 一 1)<z0.6321。 因 此 在 图 3-31 F, AAE 
z=a 以 左下 方 的 面积 都 是 相等 的 ， 即 使 随 着 > 的 增 大 ， 概 率 密 度 函 数 变 得 越 来 越 扁 ， 该 结 
论 也 是 成 立 的 。 对 fx(z) 关 于 工 求 导 ， 并 将 求 导 结果 设 为 0， 可 以 计算 出 众 数 为 (r>1): 
m, = a[(r — 1)/r]!U” (3-182) 
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—a =1,r=1.5 | 
== a =s2,r=3 
a = 2.5, r= 0.8 





© os 1 15 2 2s 3 38 já 
x 
图 3-31 韦伯 概率 密度 函数 的 例子 ， 支 集 为 及 + ， 垂 线 指 示 了 px 的 位 置 


当 7 一 2 RRA 0.7071a, r=5 时 众 数 为 0.9564a。 当 7E(0,1] 时 ， 众 数 为 0。 中 位 数 的 
计算 过 程 如 下 : 

1 — exp(— (m./a)") = 1/2=m, = a(In(2))!” (3-183) 
X r=2 时 中 位 数 为 0.8362a, r=5 时 中 位 数 为 .0.9293c。 比 较 m, fim 的 表达 式 可 知 ， 当 
r>1/(1—In(2))==3. 2589 时 ，mao 二 es。 众 数 和 中 位 数 不 可 能 超过 Z 一 wa， 因为 累积 分 布 函 
数 在 该 处 的 取 值 为 0. 6321。 à 
3.8.15 Logistic BB 2FEE([u=0, «=1} 857 Sigmoid 分 布 ) 

Logistic 随机 变量 的 概率 密度 函数 为 : 


exp(— (xr — p)/a) 
fsa) = 2G pera oe Salen w eee 
其 中 jER 为 位 置 参数 ，a 二 0 为 比例 因子 。 累 积分 布 函数 为 : 
Fx(z) = [1+ exp(— (x — p)/a) J” Ico, (z) (3-185) 
Logistic 分 布 的 概率 密度 函数 如 图 3-32 所 示 。 当 = 0, a=1 BF, Sigmoid 分 布 为 Fx (z) 
的 一 个 特例 。Logistic 分 布 的 均值 为 yy 二 yy， 方 差 为 ox 二 (xa) /3。 


— u = 0 a= 1 
- = u=-3,a =0.9 
wont H =2,0=2 





> 


0.25 


0.2 


0.1 


fx (x) 
° 
a 





we en SN eet — "SS 
RS a: ies = a eae oe Z 


210 -5 0 5 10 


图 3-32 Logistic 分 布 的 概率 密度 函数 ， 支 集 为 尺 ， 垂 线 指示 了 px 的 位 置 
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Logistic 分 布 的 应 用 场合 包括 : 
e 当 存 在 轻微 拖 尾 现象 时 ，Logistic 分 布 可 以 作为 高 斯 分 布 的 一 个 改进 模型 。 
e 人 类 或 其 他 生物 的 数量 增长 模型 。 
e 人 类 社会 中 新 事物 (新 产品 或 新 技术 ) 的 传播 模型 。 
Logistic 随机 变量 的 概率 密度 函数 还 可 以 写成 以 下 形式 : 
fold = exp(— (z= p) fa) 
a[exp(— (x — u)/2a) J'Lexp( (z — u) /2a) + exp(— (a — u/2a)) ]° 





=[4acosh°((z —)/2a) ] ! = (1/4a)sech’ (Cr — y) /2a) (3-186) 
同样 的 ，Logistic 随机 变量 的 累积 分 布 函数 也 可 以 写成 如 下 更 加 紧凑 的 形式 (见习 题 3-18): 
Fx(x) = (1/2)[1 + tanh( (2 — p)/2a) ] 1 woos CZ (3-187) 


从 图 3-33: 可 以 看 出 ，Logistic 的 概率 密度 函数 与 高 斯 分 布 非 常 接近 : 它们 的 斜率 y, 
都 为 0， 但 是 Logistic 的 概率 密度 函数 存在 较为 严重 的 拖 尾 现象 ， 峰 度 y.=6/5 B W F 
密度 函数 的 峰 度 为 0) 。 表 3-4- 对 本 书 中 对 称 连续 随机 变量 的 拖 尾 类 型 进行 了 总 结 ( 全 部 类 
型 的 斜率 都 为 0) 。 

0.4 





5; | 0 5 
x 
图 3-33 高 斯 (c=1) Logisticca=5/8). MH (a= V2/7) 三 种 概率 密度 函数 的 对 比 ， 位 置 参 
数 相 同 (y 二 c= 二 0)。 选 择 合适 的 比例 因子 使 三 个 概率 密度 函数 的 最 大 值 相等 


表 3-4 对称 随 机 变量 的 拖 尾 


过 剩 峰 度 y2 


—6/5 









连续 均匀 轻微 拖 尾 





= fi (¿= (a+ b)/2) 一 375 轻微 拖 尾 
高 斯 ，Logistic 0, 6/5 = 中 等 拖 尾 
拉 普 拉 斯 ， 柯 西 3， 不 存在 HEME 
FER t(r>4) 6/(r—4) 





< 


GEED 与 其 他 类 型 的 随机 变量 不 同 ，Logistic 随机 变量 的 逆 标 积分 布 函 数 存在 一 个 
简单 的 闭合 表达 式 ， 并 且 非 常 容易 推导 。 设 p=FOHHAGIO)UGEBETSE: 

x = Fx' (p) = + aln(p/ (1 — p)) (3-188) 

这 个 结果 可 以 用 来 将 LOI 区 闻 上 的 均匀 分 布 随机 变量 转换 为 Logistic 分 布 ， 这 在 第 

1 章 已 经 讲 过 。 这 被 称 作 逆 概率 变换 ， 在 第 4 章 还 会 结合 其 他 随机 变量 进行 详细 介绍 。 对 

于 随机 变量 Y， 其 累积 分 布 函数 为 ,FEy(y)， 均 值 为 wy。 下 面 这 个 有 趣 的 逆 变换 可 以 用 来 比 
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Re X 和 YY 的 拖 尾 情况 (Kotz，Kozubowski，and Podgorski, 2001): 
g(y) Á. Fx! (Fy(y)) (3-189) < 
# y> u, 时 g (y) B — rh 8 3k, WAY Wet X 轻微 。 图 3-34 给 出 了 服从 
Logistic 分 布 的 XX 的 g(y) 函 数 曲 线 ， 其 中 Y 分 别 是 高 斯 、 拉 普 拉 斯 和 柯 西 分 布 。 从 图 中 
结果 可 以 看 出 ，Logistic 分 布 的 拖 尾 比 柯 西 分 布 和 拉 普 拉 斯 分 布 的 轻微 ， 但 比 高 斯 分 布 的 
FE, ER 3-4 中 利用 基于 峰 度 的 方法 对 这 些 拖 尾 进行 了 归纳 总 结 。 


ICDF/CDF 映射 FX (F (y) 


oly) 





0 1 2 3 4 5 
y 


图 3-34 例 3-34 中 的 变换 ， 用 来 判断 一 个 分 布 是 否 有 轻微 的 拖 尾 


3.8.16 Chi 分 布 随机 变量 (麦克 斯 韦 - 玻 耳 兹 曼 (Maxwell-Boltzmann) ， 半 正 态 ) 
BX, AN 个 独立 的 高 斯 随机 变量 ， 分 布 参数 为 {y,,o,)。 那么 下 面 的 等 式 为 一 个 
Chi 分 布 随机 变量 ， 


N 
XAY RX — n 2 / (3-190) 
n=l 
其 概率 密度 函数 为 : 
a a EEE re 
feta) = sain pt B/D toe (2) (3-191) 


其 中 NENH KHE. Al 3-35 给 出 了 Chi 分 布 的 一 些 例子 。 因 为 式 (3-190) 是 标准 高 斯 随 
机 变量 之 和 ， 因 此 原始 {X,}) 的 均值 和 方差 并 不 会 影响 Chi 分 布 的 情况 。X 的 均值 为 wy 三 
/2P((N+1)/2)/T(N/2), 方差 为 训 二 N 一 2[T(CN 十 1)/2)/T(N/2)]:。 我 们 经 常用 符号 
yn 来 表示 Chi 分 布 随机 变量 。 累 积分 布 函 数 为 ;: 

Fx (z) = [y(N/2,27/2)/TON/2) Iro, (2) (3-192) 
Hp ylab 为 下 不 完全 伽 马 函 数 。 

Chi 分布 存在 三 种 特殊 情况 :( i )N=1 时 称 作 半 正 态 分 布 ， 此 时 比例 因子 三 1( 也 称 
fet BEA A. WILMER A)，(CiiD)N=2 时 为 瑞 利 分 布 ， 此 时 e=1, (ii N=3 时 为 麦 
克 斯 韦 - 玻 耳 效 曼 分 布 ， 此 时 a 二 1。X RX’ 服从 卡 方 分 布 ，3. 8. 17 节 将 详细 介绍 它 。 
代入 N=2r， 进 行 变换 Va/27X 可 得 先前 提 到 的 Nakagami 随机 变量 ， 此 时 a 为 比例 因子 ， 
r 是 形状 参数 ，。 

Chi 分 布 随机 变量 的 应 用 场合 包括 : 

e 一 个 密闭 容器 中 理想 气体 分 子 的 速度 大 小 的 分 布 (N=3 对 应 的 是 麦克 斯 韦 - 玻 耳 效 

曼 分 布 )。 
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e 对 缺少 正 负 信息 的 高 斯 分 布 样本 的 建 模 ， 即 X= |X,—p, |/o,N=1 对 应 的 是 半 正 
态 分 布 )。 


fx(x) 





3-35 Chi 分 布 概率 密度 函数 的 一 些 例子 ， 支 集 为 尺 + ， 垂 线 指示 了 px 的 位 置 


BRED (麦克 斯 韦 - 玻 耳 效 曼 分 布 ) 在 本 题 中 ， 我 们 研究 一 下 附录 A 中 的 麦克 斯 韦 - 
玻 耳 兹 曼 分 布 ， 比 例 因 子 为 we( 式 (3-181) 的 Chi 分 布 概率 密度 函数 没有 这 个 参数 ) 代 入 
N=34| Chi 分 布 的 概率 密度 函数 可 得 : 
fx(z) = JS2/xx’ exp(— 27/2) Ito, (z) (3-193) 
上 式 已 代入 结论 TC(3/2) 王 Vx/2。 假 设 > RUA AF 1⁄2, EXHKRERD TE: 
V2/n ` Gat /at)exp(— 2° /2a" dz =a J2n|_ yrexp(— y*/2)dy =a (3-194) 
对 上 式 进 行 了 变量 替换 y* 二 x*/a*， 并 且 认 识 到 转换 后 的 函数 是 一 个 正确 的 概率 密度 
函数 。 乘 以 比例 因子 a 后， 麦克 斯 韦 - 玻 耳 兹 曼 分 布 随 机 变量 的 概率 密度 函数 为 : 
fx(z) = (1/a') f2/xx’ exp(— x” /2a7) Ito. (z) (3-195) 
在 第 4 章 将 会 介绍 ， 上 面 这 个 结论 还 可 以 用 一 个 更 直接 的 方法 得 到 。 在 变换 和 一 acY 
中 引入 了 一 个 比例 因子 ec(Ca>>0)， 累 积分 布 函数 还 可 以 写成 下 面 的 形式 ， 





Fx(y) = P(X < 2x) = POY S 2/a) = Filtra) (3-196) 
对 上 式 进 行 求 导 可 得 概率 密度 函数 
AGE AF, (a/a) CD (3-197) 


麦克 斯 韦 - 玻 耳 效 曼 分 布 的 概率 密度 函数 如 图 3-36 所 示 ， 给 出 了 a 不 同 取 值 的 一 些 例 
子 。 当 -N=3 时 ， 对 Chi 分 布 随机 变量 乘 以 比例 因子 a， 可 以 推导 出 均值 为 py = 2a V2/m, 
HEH ok =0° (B3n—8)/n I 3 H 3-24), 4 N=3 Br, Chi 随机 变量 的 累积 分 布 函 数 为 : 
Fx (x) = [1/T(3/2)J[(1/2)y(1/2,z2/2) — (zx/ V2)exp(— zx*/2)]Iro. (x) (3-198) 
上 式 用 到 了 附录 也 中 下 不 完全 您 马 函数 的 递归 表达 式 ， 因 此 可 得 : 


xz272 
Fyx(z) = (2/ vmaa/2| v* exp(— v)du— (2/ V2) exp(— 27/2) Ito, (x) 


(3-199) 
为 了 计算 麦克 斯 韦 - 玻 耳 效 螺 分 布 随机 变量 的 累积 分 布 函 数 ， 根 据 式 (3-196) 我 们 引入 
比例 因子 a 可 得 : 
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图 3-36 麦克斯韦 - 玻 耳 兹 曼 分 布 概率 密度 函数 的 例子 ,文集 为 尺 ”， 垂 线 指示 了 jx 的 位 置 


x 
2 
0 


F(x) =2//®»[ a| 4 v? exp(— o)do — (2/aV2)exp(— x*/2a°) | 


zo/ 
=(2/ | exp(— w )dw— /2/x(2/a)exp(— z? /2a°) (3-200) 


在 上 式 中 我 们 进行 了 变量 替换 <o 一 w。 因 为 这 个 积分 表达 式 是 一 个 误差 函数 ， 因 此 可 以 将 
麦克 斯 韦 - 玻 耳 效 曼 累积 分 布 函 数 写成 一 个 更 加 紧 凌 的 形式 : 
Fx (z) = [erf(z/a /2) — V2/r(x/a)exp(— x’/2a) lIt. (z) (3-201) 
当 a=1 时 ， 上 式 简 化 为 式 (3-198) 。 < 
3.8.17 卡 方 分 布 随机 变量 
设 {X,) 为 N 个 独立 的 高 斯 随机 变量 ， 分 布 参数 为 {j,,o,)}。 那 么 下 式 为 一 个 卡 方 分 布 
随机 变量 


N 
X=) (K-08 (3-202) 
其 概率 密度 函数 为 : 
SSK sassa ey is š 
fx(z) = FCN XP 2/2) Iro; (x) (3-203) 


其 中 NE 人 W 表 示 自 由 度 。 因 为 式 (3-202) 是 标准 高 斯 随机 变量 之 和 ， 所 以 原始 {X, } AEA 
方差 并 不 会 影响 卡 方 分 布 的 情况 。 我 们 一 般 采用 符号 ys 来 表示 卡 方 分 布 随 机 变量 。 当 N= 
2r 及 a 二 1/2 时 为 一 个 特例 ， 此 时 卡 方 分 布 退化 为 伽 马 分 布 。 当 N=2 时 ， 卡 方 分 布 随机 变量 
退化 为 4*=1/2 的 指数 随机 变量 。 累 积分 布 函 数 没有 闭合 表达 式 ， 不 过 可 以 表示 成 如 下 形式 : 


== 1 Z NBA L — y(N/2,z/2) Ç 
Fx(z) == exp(— z/2)dz FND I E CE) E E 


其 中 yla, DAF EEMB BM. ES 3-37 给 出 了 卡 方 分 布 概率 密度 函数 的 一 些 例子 。 均 
值 为 jx 二 N， 方差 为 以 二 2N。 通 过 变换 可 以 将 卡 方 分 布 转换 为 其 他 类 型 的 分 布 ， 表 3-5 
对 此 进行 了 总 结 。 很 显然 ， 表格 中 的 最 后 两 个 结果 是 根据 第 一 行 的 结果 得 出 的 ， 因 为 它们 
是 卡 方 分 布 随 机 变量 的 特例 。 

卡 方 分 布 的 应 用 场合 包括 : 

e 根据 一 个 高 斯 随机 变量 的 若干 样本 计算 方差 的 置信 区 间 。 

e 假设 检验 来 判断 根据 高 斯 样本 估计 的 方差 是 否 等 于 一 个 特定 值 。 
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3-37 ” 卡 方 分 布 概率 密度 函数 ， 支 集 为 尺 ”， 垂 线 指示 了 py 的 位 置 
R35 卡 方 分 布 随机 变量 的 变换 













Chi 分 布 {N} 
标准 高 斯 
均匀 分 布 [0，1] 

瑞 利 分 布 {fe 一 1) 

麦克 斯 韦 - 玻 耳 兹 曼 {c 一 1} 


# 3-5 中 的 均匀 分 布 随机 变量 的 变换 可 由 了 一 一 InCX2) 累 积分 布 函数 推导 得 到 : 
Fy(y) = P < y) = PAX’) >— y) =1— P(X <exp(— y/2)) (3-205) 
其 中 在 上 式 我 们 用 到 了 对 数 函 数 是 单调 函数 的 结论 。 因 为 和 是 区 间 [0,1] 上 均匀 分 布 的 随 
机 变量 ， 它 的 累积 分 布 函 数 可 以 简化 为 TIo (z), 所 以 有 : 
Fy(y) = 1] — exp(— y/2)>fy(y) = (1/2)exp(— y/2) Io y (x) (3-206) 
ERX 六 的 概率 密度 函数 。 请 注意 ， 对 数 运算 将 X 的 有 限 支 集 拓展 为 了 WR’. < 
当 N>2 时 ， 卡 方 分 布 概率 密度 函数 的 导数 为 


a D (N/2— 1yzN/2=2 nt: Y gh 
daO = ann oP 2/2) — 1/2) serena) 
将 求 导 结果 设 为 0， 求解 得 到 众 数 m. = N—2, 34 N=2 tf: 
d "y. 1 Me hi Ki 5 
af xG) =— (1/2) marene.. z/2) 0=m, = 0 (3-208) 


当 N=1 时 ， 将 式 (3-207) 设 为 0 并 消去 多 余 项 ， 可 以 简化 为 x “十 x “二 0。 因 为 当 N> 
2 时 ， 剩 下 的 两 项 符号 肯定 是 相同 的 ， 所 以 众 数 mo 一 0。 < 

在 估计 问题 中 会 遇 到 卡 方 分 布 。 设 (X... Xs) 是 独立 的 高 斯 分 布 样本 ， 分 布 参数 为 
(eso). 下 面 的 样本 均值 经 常 被 用 于 估计 基本 分 布 的 均值 


aed Ri (3-209) 
DA X WOM AG. HEK a, NZH /NOLB 5 章 )。 样 本 方差 的 计算 公式 为 : 
有 k 

S ay X) (3-210) 


exp(— z/2) (3-207) 
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可 知 样本 方差 是 样本 均值 的 函数 (不 是 实际 均值 wx 的 函数 )。 容 易 验 证 ， 下 面 的 表达 式 是 
自由 度 为 N 一 1 的 卡 方 随机 变量 (见习 题 4-35) : 
YA(N—1)S/? (3-211) 
(置信 区 间 ) 设 了 是 用 来 估计 某 个 参数 或 分 布 的 随机 变量 。 置 信 等 级 为 1 一 ac。 
的 置信 区 间 用 下 面 的 概率 来 进行 定义 
Pin <Y< yy) = E (3-212) 
其 中 (yy) PH ROB LRP PR. AEEY 的 分 布 情 况 ， 据 此 才 可 根据 给 定 的 a, 
确定 置信 限 。 式 (3-210) 给 出 的 样本 方差 服从 Xi ,分布 ， 此 时 置信 区 间 为 : 
Ply, < Y <> = PAN = DS? < 2 < 'y,/ (N= ISP = 1—a, (3-213) 4 
对 于 一 个 特定 取 值 的 a.， 可 以 根据 卡 方 分 布 的 逆 累 积分 布 函数 计算 出 置信 限 {y,，y,}。 
通过 计算 样本 {X,} 的 S*， 我们 可 以 确信 均 方 根 s 有 1 一 a. 的 概率 (也 就 是 有 100(1 一 a.)% 的 置 
尖 度 ) 落 在 下 面 的 区 间 里 : 


y/(N-DS < Z < y,/(N—1)S> ,/y,/(N— DS: < o < /y,/(N— S: 
(3-214) 
例如 ,假设 从 标准 高 斯 随机 变量 中 获得 了 N= 10 个 样本 ， 分 别 为 0.8369、 一 0.7223、 
一 0. 7215, —0. 2012, —0. 0205, 0. 2789, 1.0583, 0.6217, —1.7506 以 及 0.6973。 可 计算 得 到 
样本 均值 二 一 0. 0077， 样 本 方差 8° =0. 7687。 如 果 置 信 水 平 为 95%， 从 卡 方 分 布 的 着 累积 分 布 函 
数 (自由 度 为 N 一 1 二 9) 可 以 计算 得 到 下 面 这 些 数值 : y, = Fy' (a, /2)= Fy' (0. 025) = 2. 7004, 
y= Fy! a, /2)=Fy' (0. 975) =19. 0228, WARAR (3-214) 8 95% 的 置信 区 间 为 : 
0. 3903 < o < 2. 74970. 6248 < s < 1. 6582 (3-215) 
msm 标准 高 斯 概率 密度 函数 的 均 方 根 为 =l. 
(假设 检验 ) 在 假设 检验 中 ， 我 们 从 两 个 或 多 个 假设 中 进行 选择 ， 每 个 假设 对 
ieee M-ADAW AWA ot, BIH, THA: 
Hoad = adie Hime Z ó (3-216) 
其 中 os 为 某 特定 值 。 我 们 再 次 假设 我 们 不 知道 标准 高 斯 随机 变量 的 方差 ， 用 样本 方差 S: 
来 对 其 进行 估计 。 对 于 式 (3-211) 中 的 卡 方 分 布 随机 变量 ,显著 性 水 平 为 as:。 如 果 满 足下 
面 的 等 式 ， 零 假设 H, 就 会 被 否决 
CN —1)S*/o5 > Fy' UEa) (3-217) 
其 中 Fy'(。) 为 自由 度 为 N 一 1 的 卡 方 分 布 的 逆 累 积分 布 冰 数 。 H o&=1.1, o=0.05, t 
然 使 用 例 3-48 中 的 样本 ， 计 算得 到 5 二 0.7687。 因 此 有 : 
(N — 1)s?/o = 9(0. 7687)/1. 1 = 6. 2894 (3-218) 
因为 在 自由 度 为 N 一 1 二 9 时 ， 上 式 的 结果 并 没有 超过 Fy! (1—0.05)=16.9190, Ak 
Ho 不 会 被 否决 。 因 此 我 们 可 以 认为 二 1.1。 实 际 上 ， 只 有 样本 均值 s 汪 2.0679 时 H, 2 
会 被 否决 。 再 考虑 如 下 的 假设 : 





H: =0, Hire < (3-219) 
对 于 这 种 情况 ， 只 有 下 面条 件 满足 才能 否决 Ho: 
(N—1)S%*/a; < Fy'(a,) (3-220) 
因为 式 (3-218) 的 结果 超过 了 Fy'(0.05)=3.3251, HUH 不 会 被 否决 。 实 际 上 ， 需 
要 样本 均值 s: 二 0. 4064 时 H, 才 会 被 否决 。 < 
3.8.18 Ff 
设 {X!，X,) 为 独立 的 卡 方 分 布 随 机 变量 ， 自 由 度 分 别 为 mw 和 n。 那 么 下 式 服从 下 分 布 : 
x= Zum (3-221) 


F 分 布 的 概率 密度 函数 为 : 
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(Cm n) /2)Gniny ta pa 

s = mnaq ates yn) ee 

式 (3-222) 关 于 m 和 nn 并 不 是 对 称 的 。 一 个 有 趣 的 性 质 是 ，1/X 同样 也 服从 下 分 布 ， 只 不 

过 自由 度 进行 了 相互 交换 ， 从 上 面 的 比值 就 可 以 看 出 。F 分 布 概率 密度 函数 的 例子 如 
图 3-38 所 示 。 下 分 布 的 累积 分 布防 数 为 : 

Fyx(z) = Bwni (m/24n/2) Io, (z) (3-223) 








图 3-38 下 分 布 概率 密度 函数 的 例子 ， 支 集 为 及 + ， 垂 线 指示 了 jx 的 位 置 


其 中 B,C(a，5) 为 下 不 完全 贝塔 函数 ( 见 附录 BD. Fat py =n/(n—2), n>2, 
Jy3 38 ex=2n° (m+n—2)/[m(n—2) ° (n—4)], n>4, 

与 例 3-47 中 的 卡 方 分 布 随 机 变量 类 似 ， 当 m = (1,2) H, FAAARA Mm, 
也 为 0， 其 中 mx 为 式 (3-221) 中 分 子 里 卡 方 分 布 随 机 变量 的 自由 度 。 当 m 宇 2 时 ， 众 数 为 
(见习 题 3-16); 

m, = (m/n)(m — 2)/(n+ 2) (3-224) 

F 2 + Z % 38 yE F m W kO KK. BA-DA A A (yy, G) S ME 2 f tP 3É Ra 
了 m 个 样本 (Xis Xn) 类 似 的 ， 从 另外 一 个 高 斯 分 布 中 获取 个 样本 {2Z1,…,2,}, 该 
高 斯 分 布 的 方差 仍然 为 中， 均值 为 wm。 设 各 和 2 分 别 表示 样本 均值 ， 并 假设 所 有 的 样本 
都 是 相互 独立 的 。 那 么 下 面 这 个 随机 变量 就 服从 自由 度 为 {m 一 1,n 一 1} 的 下 分 布 : 


vrål X= Hm —D) 5 6 — Zt saa) = 2 /S% — (3-225) 

因为 这 个 比值 的 每 一 项 都 是 样本 方差 ， 因 此 可 以 将 了 作为 两 个 不 同样 本 集合 方差 相似 

度 的 一 种 度量 。 < 
下 分 布 的 应 用 场合 包括 : 


e 利用 假设 检验 ， 判 断 两 个 高 斯 随机 变量 各 种 的 样本 是 否 具有 相同 的 方差 。 
e 评估 最 小 均 方 (LS) 模 型 的 准确 度 ， 该 模型 用 来 给 具有 几何 形式 Y==aX 十 b 的 样本 建 
模 ， 其 中 {a,b} 是 待 估计 的 参数 (最 小 均 方 估计 将 在 第 9 章 介绍 ) 。 
因为 我 们 假设 式 (3-225) 中 基本 分 布 的 方差 是 相同 的 ， 可 以 用 基于 样本 {XX,) 
和 {2,)} 的 随机 变量 了 来 检验 零 假 设 百 ,: ox 二 oz2。 如 果 另 外 一 个 假设 是 Hi: >o, RF 
下 面 不 等 式 成 立时 ，HHo 才 会 被 否决 : 
Y = 54/57 > Fy (l= a) (3-226) 
其 中 Fy'(。) 是 下 分 布 的 逆 累 积分 布 函 数 ， 分 布 参 数 为 {mn 一 1，n 一 1},， a, 是 显著 性 水 平 。 
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设 ox =2, 6 =1, m=n=10,. BURRAT X 的 以 下 样本 :一 0.3757， 一 2.2156， 
—0. 5581, —0. 2034, —3. 3011, —1.9199, —2.5678, 1.5675, —0. 2010, 1.5737, WA Z 
W AK: 0.5593, 0.4784, — 0.6794, 0.2850, —1.3329, —0.7240, = 0. 6636, 0. 1984, 
一 1. 7949, —1. 3877。 经 计算 样本 均值 元 二 一 0.8201, z=—0. 5061, Ñ (3-225) HEH y= 
sk/$=2. 7586/0. 7167=3. 8490。 因 为 了 超过 了 Fy'(0.95) 二 3.1789， 因 此 H, 被 和 否决。 如果 
另外 一 个 假设 为 Hi: 怒 过 oz ， 那 么 当下 面 的 不 等 式 成 立时 ，Ho 才 会 被 否决 : 

LZY = S;/Sk > Fyly(1 — a.) (3-227) 
通过 交换 m—1 和 7 一 1， 可 以 从 Fy'(。) 得 到 逆 累 积分 布 函 数 Fy(。)。 根 据 上 面 的 数值 
结果 ，1/y 二 0. 2598 并 没有 超过 Fi (0.95) =3.1789, 所 以 此 时 无 法 否决 Ho AAEE 
XE Fy!( + )=Fiy( e), KEAH m=n, < 
3.8.19 学 生 氏 tah 

设 X, 为 高 斯 随机 变量 ，X, 为 自由 度 为 N=r 的 卡 方 分 布 随机 变量 。 对 于 独立 的 X, 
和 X， 下 面 的 比值 服从 学 生 氏 :分布 ， 
X = Rr (3-228) 
FER z 分布 的 概率 密度 函数 为 : 
1 TFTCGr 十 1)/2) 1 


DT FO) OFr 


其 中 rEN 表 示 自 由 度 。 学 生 氏 z 分 布 存 在 两 种 特例 :〈( i ) 当 7 二 1 时 ，X 退化 为 分 布 参 数 
为 {c 二 0， a 二 1} 的 柯 西 随机 变量 ，(ii ) 当 x 一 co 时 ,得 到 标准 高 斯 随机 变量 (见习 题 4-2), 
图 3-39 给 出 了 学 生 氏 分 布 概率 密度 函数 的 一 些 例子 。 它 的 累积 分 布 函数 为 : 
Fx(z) = Bo ps FE Cr/2,r/2)1 c. (x) (3-230) 
0.4 


Tes. rt (3-229) 


0.35 
0.3 


0.25 






< 
Š 02 


图 3-39 FÆR tAm IS, LEIR, 4 r>1l 时 jy 二 0， 当 7 二 1 时 均值 不 存在 


其 中 B, a,b) 为 先前 提 到 的 下 不 完全 贝塔 函数 。 学 生 氏 上 分 布 的 均值 为 wx 王 0，r 盖 1， 方 
EJ of =r/(r7—2)5 r>2, 

学 生 氏 :分布 可 以 通过 下 面 的 方法 得 到 。 设 {Xi,…,X,) 是 从 分 布 参数 为 (aso) 的 高 
斯 分 布 中 获取 的 样本 。 样 本 均值 X 同样 也 是 高 斯 的 ， 通 过 变换 Y, =V-(X 一 /)/e 可 得 标准 
高 斯 随机 变量 。 根 据 前 一 节 的 讨论 可 知 ， 开 三 (Cr 一 1)S:/eo 服从 自由 度 为 > 一 1 的 卡 方 分 
布 。 由 于 Y, MY, 是 相互 独立 的 ， 因 此 下 面 的 比值 服从 学 生 氏 分布 ， 分 布 参数 为 r— 1: 

ae == a< 2. (3-231) 
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学 生 氏 上 分 布 的 应 用 场合 包括 : 

e 确定 高 斯 随机 变量 样本 均值 的 置信 区 间 。 

e 当 存 在 较为 严重 的 拖 尾 时 ， 学 生 氏 上 分 布 可 以 替代 高 斯 分 布 作为 一 个 更 加 准确 的 模 

型 ( 见 表 3-4) 。 

与 例 3-48 中 使 用 的 方法 类 似 ， 基 于 卡 方 分 布 随机 变量 来 推导 方差 的 置信 区 
间 ， 我 们 可 以 将 式 (3-231) 改 写成 如 下 形式 : 

PCy VS /r < X — , < y, /Sš/r) = P(X — y, /S'/r << X— y, /S:/r) 

(3-232) 

其 中 iy ws 表示 置信 下 限 和 上 限 ,jy 前 面 的 负 号 导致 不 等 式 改 变 了 方向 。 将 这 个 结果 设 
为 1 一 a.， 代 入 及 和 S? 可 以 得 到 100(1 一 a.)% 置 信 区 间 ， 其 中 y= Fy (a./2), y, = 
Fy' (1 一 Qa./2)，Fy'(。) 表 示 自 由 度 为 r 一 1 的 学 生 氏 逆 累 积分 布 函数 。 因 为 Fy(y) 是 关于 
原点 对 称 的 ， 可 以 代入 yy 二 一 y( 对 于 例 3-48 中 的 置信 限 该 结论 不 成 立 ， 因 为 卡 方 分 布 不 是 
对 称 的 )。 假 设 我 们 在 标准 高 斯 分 布 中 获得 了 如 下 10 个 样本 : 一 0.8674， 一 0.4742，0. 2224， 
1.8713, 0.1100, —0. 4113, 0.5112, —1.1991, —0. 0964 和 0. 4458， 可 计算 得 到 样本 均值 
元 一 0. 0112 和 样本 方差 二 0.7531。 对 于 a 二 0.05， 有 y = Fy!(0.975)= —2. 2622 Z y, = 
Fy' (0.025) 一 2.2622， 据 此 可 以 给 出 如 下 95 多 的 置信 区 间 : 

— 0. 6021 < p < 0. 6246 (3-233) 
实际 上 ， 标 准 高 斯 分 布 X 的 均值 为 二 0。 < 
3.8.20 MBDA 

有 三 种 类 型 的 极 值 分 布 ， 我 们 在 此 只 讨论 类 型 1, 也 称 作 康 拜 尔 分 布 。 它 的 概率 密度 
函数 为 : 

fx(z) = (1/a)exp(+ (4 — c)/a)exp(— exp(+ Cr —c)/a)y[I ox) (3-234) 

其 中 cORAMBER, a>0 为 比例 因子 。 有 两 种 类 型 的 概率 密度 函数 ， 分 别 取 决 于 指数 

前 面 的 符号 是 十 (最 小 值 ) 还 是 一 (最 大 值 )。 我 们 在 此 只 考虑 最 大 值 的 情况 ， 此 时 累积 分 布 
函数 为 : 

Fy (x) = exp(— exp(— (2 — c) /a)) Tm (22 (3-235) 

图 3-40 给 出 了 极 值 分 布 概率 密度 函数 的 一 些 例子 。 与 Logistic 分 布 类 似 ， 可 以 直接 推 

导 得 到 它 的 逆 累 积分 布 函数 : 对 于 p= F0(z), Wi RAD Ai HBA: 
z = Fra(p) = c—aln(— In(p)) (3-236) 





-8 -6 -4 -2 0 £ 4 6 8 10 
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图 3-40 极 值 分 布 ( 康 拜 尔 ) 概 率 密度 函数 的 一 些 例子 ， 支 集 为 尺 ， 垂 线 指示 了 wx 的 位 置 
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极 值 分 布 的 应 用 场合 包括 : 
e 4 N 很 大 时 ， 指 数 类 型 随机 变量 N 个 样本 最 大 值 的 分 布 情况 ， 也 称 作 第 N 阶 统计 
量 ( 见 第 4 章 )。 
e 对 极端 事件 进行 建 模 ， 比 如 最 大 地 震 运动 、 金 属 的 断裂 强度 以 及 大 风 。 
根据 累积 分 布 函数 ， 可 以 用 下 面 的 方法 计算 中 位 数 ， 
exp(— exp(— (m. — c)/a)) = 1/2=— exp(— (m. — c)/a) = In(1/2) 
=— (m. — c)/a = ln(ln(2)) 
=, = c — aln(In(2)) (3-237) 
因此 ，7asszc 十 (0.3665)a 一 般 都 会 大 于 众 数 加 。 二 c。 均 值 为 a= cay, HP YAN 
0. 5772， 是 欧 拉 - 马 歇 罗 马 常数 ， 可 得 jc 十 (0:5772)a， 均 值 一 般 大 于 中 位 数 。 从 结果 
可 知 ， 概 率 密 度 函 数 偏向 左边 ， 而且 和 斜率 为 正 ; y = (12 V6/n*)6(3)~1. 1396, HH g) 
为 Zeta HAR, €(3)~1. 2021 MAKE Apery 常数 。 康 拜 尔 分 布 的 方差 为 ox = (wa) /6。 < 
可 以 通过 变换 X 一 c 一 cln(Y) 得 到 康 拜 尔 分 布 ， 其 中 了 是 分 布 参数 人 一 1 的 指 
数 随机 变量 : 
P(X < +j) = P([c — z=]/a < In(Y)) 


=1— P(Y < exp([c — z ]/a)) (3-238) 

代入 指数 随机 变量 的 累积 分 布 函数 ， 可 以 得 到 我 们 需要 的 结果 ， 
Fx(x) = 1—[1 — exp(— exp(— [xz —c]/a))] (3-239) 
该 结果 即 式 (3-235) 。 š 


3.9 离散 随机 变量 


在 前 面 我 们 讨论 过 ， 离 散 随机 变量 的 输出 既 可 以 用 克 罗 内 克 6 函数 来 表示 ， 也 可 以 用 
狄 拉 克 6 函数 来 表示 ， 得 到 的 结果 分 别 对 应 于 概率 质量 函数 和 概率 密度 函数 。 设 离散 随机 
变量 X 的 输出 为 Z+ ， 概率 为 非 零 值 P(X 二 zx)。 概 率 质 量 函 数 可 以 写 为 : 


px[Lzx] = > px[nJ]Jə[z — n] (3-240) 
概率 密度 函数 为 : 


fx (z) = >T px [n]8(z — n) (3-241) 


尽管 求 和 上 限 是 无 限 大 ， 但 由 于 采用 了 狄 拉 克 6 函数 ， 各 项 只 有 在 n= z 时 才 是 非 零 
值 。 这 里 并 不 需要 指示 函数 来 特别 声明 X 的 支 集 ( 在 连续 随机 变量 中 经 常用 到 )， 因 为 从 
求 和 表达 式 看 是 非常 明确 的 。 对 于 累积 分 布 函数 也 是 这 样 的 ， ERP POD | use 
数 wx(z)， 可 以 通过 对 概率 密度 函数 积分 来 得 到 : 


Fx (zy = | fx (o) do = >) pallu m (3-242) 


为 了 对 所 有 类 型 的 随机 变量 有 一 一 至 的 描述 方法 (包括 混合 分 布 )， 在 本 节 中 一 般 采用 概 
率 密度 函数 来 进行 表示 。 这 样 我 们 就 可 以 通过 积分 来 计算 各 种 统计 量 ， 包 括 第 5 章 将 要 介 
绍 的 均值 : 


oo 


py = l. Zrx(r)dz = Spat] x(x — n)dxz = 22 nb [n] (3-243) 


在 上 面 最 后 一 个 表达 式 中 ， 用 到 了 狄 拉 克 6 函数 的 平移 特性 。 在 附录 A 中 归纳 了 概率 质量 
函数 和 概率 密度 函数 的 特性 。 下 面 对 本 节 用 到 的 各 种 符号 进行 一 个 归纳 : 

© p 表示 “成 功 ” 的 概率 。 

e gq 会 1 一 p 表示 “失败 ”的 概率 。 
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e N 表示 试验 /输出 结果 (二 项 、 超 几何 、 均 匀 ) 的 数量 ,或 者 表示 随机 变量 的 求 和 ( 负 
= 
e M 表示 成 功 对 象 的 数目 ( 超 几 何 )。 
© a 为 一 般 性 的 比例 因子 ( 泊 松 和 zeta). 
3.9.1 伯 努 利 随 机 变量 


伯 努 利 随机 变量 有 两 种 输出 结果 ， 标 记 为 {0,1), 概率 密度 函数 为 : 
fx (z) = g(a) + phš(z— 1) (3-244) 
Hp p= P(X = 1) E[L0,1] 表 示 成 功 (比如 在 硬币 投掷 试验 中 正面 朝 上 ) 的 概率 ，qg 全 1 一 
力 表 示 失 败 的 概率 。 对 称 伯 努 利 随机 变量 的 输出 为 {一 1,1)} ( 见 附录 A)。 用 单位 阶 牙 函数 
百代 狄 拉克 6 函数 就 可 得 到 伯 努 利 累 积分 布 函数 : 
Fyx(z) = qu (xz) + pu (z — 1) (3-245) 
图 3-41 给 出 了 伯 努 利 分 布 概率 密度 函数 的 一 些 例子 。 均 值 为 ex5 p HAH ox = bq. 
伯 努 利 分 布 的 应 用 场合 包括 : 


0.8 0.8 
0.7 0.7 
0.6 0.6 
0.5 0.5 
£ o4 S04 
0.3 0.3 
0.2 0.2 
0.1 0.1 
S 0 We 1 1.5 QS 0 = 1 15 
a) b) 


图 3-41 伯 努 利 概 率 密 度 函 数 的 一 些 例子 。a) p=0.5; b) p=0.25, XR 
为 (0,1), 虚线 指示 了 px 的 位 置 


e 输出 结果 为 HT) 形式 的 许多 试验 ， 比 如 单个 硬币 投 撞 试 验 ， 或 者 互补 事件 比如 
投掷 山子 ， 输 出 结果 为 偶数 或 奇数 。 
e 数字 通信 系统 中 的 二 进 制 数字 (bit) 。 
GEED 对 于 绝对 概率 空间 {0Q, 下 ,P}) ,其 中 QQ 可 能 是 不 可 数 的 。 设 随机 指示 变量 可 以 
将 某 个 事件 已 E 大 映射 到 及 


X(w) = Ir(w) (3-246) 

XX 只 有 两 种 输出 ， 因 此 XX 是 一 个 贝 努 利 随机 变量 : 
p= P(X = 1) = P(E),q = P(X = 0) = P(E) (3-247) 
BRAOKRFEKRSRFREARH. 例如， 如 果 XX 表示 输出 结果 大 于 4 的 事件 ， 
那么 X 仍然 是 一 个 伯 努 利 随 机 变量 ,， 且 p=1/3, q=2/3. < 





EE H) =% mh SL E 5 i 5 xT 30 H 25 W d f qr HE 8. m # Z A EE — 种 度 
量 。 它 的 定义 为 : 

H(X) = -> px[LnjlogCpx[n]) (3-248) 
对 数 函 数 可 以 取 任 何 数 为 底 ， 但 我 们 一 般 都 以 2 he AR, 此 时 互 (X) 的 单位 为 比特 (bit) 
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或 莱特 (nat)。 在 第 10 章 还 将 对 此 进行 详细 介绍 。 在 此 ， 我 们 只 简单 的 考虑 一 下 伯 努 利 随 
HL E BJ wi: 

H(X) = plog(p) + qlog(q) (3-249) 
图 3-42 给 出 了 式 (3-249) 的 图 形 。 可 以 看 出 当 p=1/2 时 (最 大 的 不 确定 性 )H(X) 取 最 大 
i, 3 p= (0,1) 时 (没有 任何 不 确定 性 )HH(X) 取 最 小 值 。 后 一 种 情况 的 信息 量 为 0， 因 为 
此 时 我 们 能 够 以 1 的 概率 分 别 知道 输出 为 0 或 1。 


0.2 
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图 3-42 ñ 35 Fil BALE EE BJ ERO < 


3.9.2 二 项 随机 变量 


将 伯 努 利 试验 重复 N 次 (全 部 都 是 独立 的 ) 后 统计 成 功 的 次 数 ， 得 到 的 就 是 二 项 随机 
变量 。 二 项 分 布 概率 密度 函数 为 : 


N 
heg O) q™"8 lx — n) (3-250) 


He pelo. ;gq 会 1 一 ps FRAT 项 式 系数 ， ERR N 次 伯 努 利 试 验 中 成 功 n 次 的 所 
有 可 能 的 排列 数目 : 


N N! 
人 从 元 有 二 (3-251) 
上 面 关 于 二 项 分 布 的 描述 对 应 于 伯 努 利 随机 变量 的 替换 性 采样 ， 已 经 在 第 2 章 中 关于 有 限 
样本 空间 Q 进行 了 讨论 。 样 本 规模 为 N 的 二 项 概率 可 由 下 面 的 递归 表达 式 进 行 计算 ( 见 
习题 3-37): 
P(X = xz) = [((N—2+1)p/qrz JP(X = z—1) (3-252) 
累积 分 布 函数 为 : 


N N wA 
Fx(x) = ADA )ptq’"u(x—n) (3-253) 


对 于 一 个 特定 取 值 的 z< N, RA n< x 时 单位 阶 跃 函数 才 是 非 零 的 。 求 和 表达 式 中 nn 二 xz 
的 部 分 都 被 排除 在 外 (等 于 0)。 我 们 也 可 以 不 用 单位 阶 牙 函数 来 写 出 累积 分 布 函数 的 表 
达 式 : 
Lr} 
Flay = > (yea (3-254) 


其 中 [zj 为 下 取 整 函数 ,该 函数 返回 小 于 z 的 最 大 整数 。 利 用 这 个 记号 可 以 很 好 的 定义 求 和 
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表达 式 ， 对 于 非 整 数 取 值 的 x 累积 分 布 函数 为 一 个 常数 ， 这 正 是 离散 随机 变量 需要 的 。 二 
项 随机 变量 的 概率 密度 函数 如 图 3-43 所 示 。 均 值 e = Np, WH x= Npq. 


0.25 0.25 
0.2 0.2 
£ = 
= 0.15 a 0.15 
0.1 0.1 
0.05 0.05 
0 
8 10 0 0 2 4 6 8 10 
x x 
a) b) 


图 3-43 ”二 项 概率 密度 函数 的 例子 。a) N=10, p=0.25; b) N=10, p=0.5, 
支 集 为 10,… N}, 虚线 指示 了 wx 的 位 置 


二 项 分 布 的 应 用 场合 包括 ; 

° 重复 进行 伯 努 利 试验 (比如 将 一 枚 硬币 投 搓 N 次 ， 或 者 同时 投 搓 N 枚 硬币 )， 我 们 
对 这 N 次 试验 中 成 功 的 次 数 感 兴趣 。 

° 对 于 较 大 的 样本 规模 N， 预 测 次 品 的 数量 。 

GED $$ kasu N 一 3 次 ， 概 率 密 度 函 数 为 : 


fea =>) () /2 /2 — m = (1/8) > (“Jace—n) (3-255) 
假设 我 们 希望 计算 P(X=3)。 因 为 式 (3-250) 是 一 个 概率 密度 函数 ,概率 可 以 用 x 二 3 

为 中 心 的 一 个 小 区 间 上 的 积分 来 进行 计算 : 
P(X =3) = | fx(adde = (1/8) (2)=1/8 (3-256) 
其 中 很 小 的 e€E (0, DTA MAN HR” FZ c=3 处 的 6 函数 。 < 

现 考 虑 另外 一 个 例题 : 
= 

P(X> 1 = | fwd = a| (>)j+(3)] = 8703 二 D = 1⁄2 (3-257) 


式 (3-257) 选 择 了 合适 的 积分 下 限 ， 使 得 输出 结果 {0，1} 被 排除 在 外 。 同 样 也 可 以 根据 累 
积分 布 函数 进行 计算 : 


3 
PX>D=1-PX<D=1- /8 >) ("ua — (3-258) 
上 述 求 和 表达 式 中 有 4 项， 其 中 (0)==u(1)==1, m u(—2)=u(—1)=0, Bear, 
PENS Dee ass (5)+ (|= 1/2 (3-259) 


例 3-57 介绍 了 如 何 根 据 概率 密度 函数 和 累积 分 布 函 数 计算 离散 随机 变量 的 概率 ， 需 
要 分 别 基于 狄 拉 克 6 函数 和 单位 阶 跃 函数 来 进行 计算 。 但 是 ,读者 可 能 会 发 现 用 概率 质量 
函数 来 计算 在 概念 上 会 更 简单 一 些 ， 只 需要 将 各 个 概率 简单 相 加 即 可 。 对 概率 质量 函数 进 
行 求 和 与 对 概率 密度 函数 进行 积分 ， 二 者 其 实 是 一 致 的 ， 因 为 概率 密度 函数 中 的 狄 拉克 
函数 与 概率 质量 函数 中 的 克 罗 内 克 6 函数 都 位 于 X 的 相同 输出 结果 处 。 
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3.9.3 ”几何 随机 变量 ( 支 集 为 2+ RN) 


几何 随机 变量 常用 来 定义 伯 努 利 试 验 中 经 过 > 次 失败 后 第 一 次 成 功 需 要 的 试验 次 数 。 

有 的 时 候 它 也 被 称 作 “ 等 待 时 间 ” 随 机 变量 ,在 这 里 用 失败 的 次 数 来 定义 “时 间 ”( 并 不 是 真 
正 意义 上 的 时 间 )。 因 为 每 次 试验 都 是 独立 的 ， 我 们 可 以 写成 下 面 的 表达 式 : 

PUA = 2h = qaq p = porl st Ca] (3-260) 


r í 
RP, pelo, 1], q2.1—p, HÉR a= q/p, HHA ox=q/ p. JL BAL AE BJ 55 F 
一 种 定义 为 : 观测 到 z 一 1 次 失败 后 才 成 功 ， 此 时 将 g 的 指数 改 为 x 一 1， 可 得 : 
PIX = z) = (3-261) 
JU 4} fi 85 uj WR fk EE At 2 次 试验 后 第 一 次 成 功 的 概率 。 请 注意 ; 式 (3-261) 定 
义 的 几何 分 布 的 支 集 并 不 包括 0( 因 此 指示 函数 的 下 标 为 V),， 但 在 式 (3-260) 中 是 包括 0 
的 。 因 此 ， 我们 把 式 (3-261) 看 做 几何 随机 变量 平移 后 的 分 布 ( 见 附录 A)。 式 (3-260) 定 义 
的 几何 随机 变量 ， 其 概率 密度 函数 和 累积 分 布 函 数 为 : 


fx(z) = > "Ma—n), Fx(z) = Sp’ "u(x — n) (3-262) 


n=0 


元 柯 分 布 的 概率 密度 函数 的 例子 如 图 3-44 所 示 。 几 何 分 布 的 应 用 场合 包括 : 

e 重复 进行 的 伯 努 利 试验 (比如 不 停 的 投掷 一 枚 硬币 )， 我 们 对 z 次 失败 后 的 第 一 次 成 
功 感 兴趣 。 

e 马尔 可 夫 链 ( 见 第 6 章 ) 和 排队 理论 。 
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图 3-44 几何 分 布 概率 密度 函数 的 例子 。a) p=0.5; b) p= 二 0.15。 支 集 为 2+ ， 虚 线 指示 了 jx 的 位 置 





Were 对 于 一 个 比特 字符 串 ， 输 出 为 (0.1) ERER, Y n € {0,… ,元 ) 时 
u(z=—n)=1, 4 n>zx Hh ula—n)=0, AKA: 
P(X > z) = 1 — F(x) = Lesli Css n) = 1—p>}q" (3-263) 


正如 在 例 3-57 中 曾 提 到 ， 将 概率 质量 函数 中 的 对 应 项 进行 累加 就 可 得 到 计算 结果 。 根 据 
序列 求 和 结果 的 闭合 表达 式 可 得 ( 见 附录 E): 


P(X > z) =1—p( —qt)/0(—q = gt (3-264) 

与 其 他 类 型 的 离散 随机 变量 不 同 ， 其 累积 分 布 函数 有 如 下 简单 的 闭合 表达 式 ， 
F(x) = 1— P(X > z) 一 (1 一 orH)Tez[z] (3-265) 
可 以 看 出 ， 累 积分 布 函 数 在 工 的 两 个 整数 取 值 之 间 是 平坦 的 。 < 


定理 3-4 集合 随机 变量 是 唯一 具有 无 记忆 特性 的 离散 随机 变量 。 
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证 明 : 根据 条 件 概率 可 知 : 
P(X >x+6|X >b)= P(X> z+ b)/P(X > b) 


=[1—Fx(z=+ b)]/[1 — Fx (5)] (3-266) 
代入 几何 随机 变量 的 累积 分 布 函 数 可 得 : 
PCX > z+ b|]X > b) = /= z = 1— Fx) (3-267) 


可 以 看 出 ， 式 (3-260) 定 义 的 概率 密度 函数 并 不 具备 无 记忆 特性 ( 式 3-87)。 现 在 再 考察 
式 (3-261) 给 出 的 平移 几何 随机 变量 ， 其 累积 分 布 函数 为 : 


Fx(z)y= GQ — ae plr] (3-268) 
将 上 述 定义 代 人 条 件 概率 表达 式 ， 可 得 : 
P(X > =+ b|X >=? /@ = g = Pla) (3-269) 


可 以 看 出 ;， 支 集 为 N 的 平移 几何 随机 变量 的 概率 密度 函数 具有 无 记忆 特性 (0 必须 被 排除 在 外 )。 
很 显然 ， 对 于 整数 zx， 只 有 a 的 函数 形式 才能 满足 a”*/a’ 二 a*， 因 此 这 也 是 唯一 满 
足下 面 不 等 式 的 函数 表达 式 : 
POX > z+ b)/PXX > b) = P( Sz) (3-270) 
因此 可 得 : 
P0(X Sa) aPC < 2) 1 eS Rd (3-271) 
从 式 (3-271) 可 以 看 出 ， 在 x=0 处 的 概率 质量 为 0,&E [0,1] 是 为 了 确保 1 一 a” 是 一 个 合 
法 的 分 布 。 对 于 有 限 项 求 和 ， 考 虑 如 下 的 闭合 表达 式 ( 见 附录 E): 
Sr = — eran (3-272) 
代入 m=n+1 使 得 求 和 是 从 1 开始 的 (为 了 与 支 集 的 最 小 值 相 匹配 )。 整理 该 表达 式 
可 得 : 





da) ya" = = 1-— qa" (3-273) 
式 (3-271) 给 出 的 累积 分 布 函数 。 对 于 rC N. 对 应 的 概率 质量 函数 为 : 
p<[z=] = A —a)a™' Iyl] (3-274) 


最 后 代入 a=q 以 及 1—a= p, EIE. 
几何 随机 变量 的 中 位 数 可 由 累积 分 布 函 数 计 算得 到 + 


Fx(m.) > 1/2>(1=q"+) > 1/2 (3-275) 
整理 上 述 表 达 式 ， 并 对 等 式 两 边 取 对 数 可 得 ; 
(me + 1)log (q) < log, (1/2) =— 1>m, >— 1/log, (q) — 1 (3-276) 


不 等 式 两 边 同 时 除 以 log:(q) 改 变 了 表达 式 的 方向 。 选 取 m, 为 满足 上 面 不 等 式 的 最 小 整 
£. m. 的 计算 可 用 如 下 的 上 取 整 函数 (ceiling function， 见 附录 B): 
m. = [ — 1/log; (q) ] — 1 (3-277) < 
K 3-6 对 二 项 随机 变量 、 几何 随机 变量 与 伯 努 利 随机 变量 的 关系 进行 了 归纳 。 表 3-6 
还 包括 负 二 项 随机 变量 ， 它 是 几何 分 布 在 N= 1 时 的 特例 。 


表 3-6 ” 伯 努 利 试验 和 相关 的 随机 变量 












N 次 试验 中 工 次 成 功 
工 次 失败 后 的 第 一 次 成 功 
工 次 试验 后 的 第 一 次 成 功 
工 次 失败 后 的 第 NN 次 成 功 


二 项 分 布 {N,p} 
几何 分 布 {p}( 支 集 为 Z+) 

平移 几何 分 布 {p)( 支 集 为 N) 
负 二 项 分 布 {N,p} 


3.9.4 负 二 项 随机 变量 (帕斯卡 ) 
负 二 项 随机 变量 帕斯卡 (Pascal) 的 产生 过 程 为 : 将 N 个 几何 随机 变量 进行 累加 ， 每 个 
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变量 都 服从 相同 的 分 布 参数 p € [0,1], 计算 经 过 zz 次 失败 后 出 现 N 次 成 功 的 概率 。 伯 努 
利 输出 结果 的 一 个 可 能 序列 为 : 第 1 次 失败 ， 然 后 随后 的 N 次 全 是 成 功 ， 这 种 情况 的 概 


率 为 p*g，g 全 1 一 p。 在 前 NHI 次 试验 中 发 生 z— 1 次 失败 的 排列 数目 为 {、) 一 N， 


N+ 
Cs (3-278) 
ooo — — 
NBER 
将 这 个 结果 应 用 于 z 次 失败 的 情况 ,对 于 所 有 的 排列 : 
P(X = x) > s N lost, [z1 (3-279) 
£ 


请 注意 ， 对 于 x 二 0 次 失败 的 情况 只 存在 一 种 排列 。 根 据 定义 ， 成 功 的 数量 一 定 是 N, 
N 次 成 功 之 前 需要 xz 次 失败 ， 排 列 数量 可 由 二 项 式 系数 给 出 (很 显然 , 无论 N R£. 最 
后 一 次 的 输出 结果 一 定 是 成 功 )。 因 此 ， 负 二 项 随机 变量 的 概率 密度 函数 为 : 


fx (a) = >») ta er \ prq" — m) (3-280) 
n=0 n 
累积 分 布 函数 为 ， 
N 一 1 
Fx(z) = P ` )pNq"u(a—n) (3-281) 
= 7 


负 二 项 概率 密度 函数 的 例子 如 图 3-45 所 示 。 均 值 为 yy 二 Ngq/p， 方差 x= Nq/ bo. W 
显然 ， 当 N=1 时 ， 负 二 项 随机 变量 退化 为 几何 随机 变量 。 也 可 以 生成 N € 72: 的 负 二 项 
概率 密度 函数 ， 此 时 称 作 Polya 分 布 。N 取 整 数值 的 负 二 项 分 布 也 被 称 作 帕斯卡 (Pascal) 
分 布 。( 读 者 可 能 会 注意 到 ， 有 许多 种 版 本 的 负 二 项 概率 密度 函数 。 例 如 ， 有 一 种 版 本 的 
概率 密度 函数 与 此 处 给 出 的 一 致 ， 只 不 过 p Ag 进行 了 互 换 。) 负 二 项 分 布 的 应 用 场合 
包括 : 

e 泊 松 分 布 的 一 种 替代 。( 见 例 3-62， 用 泊 松 随机 变量 来 推导 出 负 二 项 分 布 。) 

e 事故 征 候 的 模型 。 


0.18 0.18 
0.16 0.16 
0.14 0.14 
0.12 0.12 
= 0.1 = 0.1 
~“o.08 ~ 0.08 
0.06 0.06 
0.04 0.04 
0.02 0.02 i 
8 0 5 10 15 20 8 0 5 10 15 20 
x x 
a) b) 


图 3-45 负 二 项 概率 密度 函数 的 例子 。a) N=4, p=0.5; b) N=10, p=0.45, 
支 集 为 2+ ， 虚 线 指示 了 px 的 位 置 


FEE) 设 N= 一 2，p= 二 gq 二 1/2。 对 于 非常 小 的 e€E (0，1)， 有 下 面 的 结论 : 
ey 2 3 2 4 3 5 4 
PO<X <0 =| fwa = ee + Se + C) 


=p [28 + 4q' +5] = (1/2)[1/2 + 3/8+ 55/16] (3-282) 
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以 硬币 投掷 试验 为 例 ， 得 到 在 N=2 次 正面 前 出 现 z=2, 3, 4 次 背面 的 概率 为 19/32=s 
0. 5938, < 
(Krishnamoorthy, 2006) X R A 44 £ 3 (N, p) f — i AA. BA 
对 于 整数 h: 
P(X < b) = P(Y > N) (3-283) 
其 中 了 是 分 布 参数 为 {N 十 &, 力 } 的 负 二 项 随机 变量 。 为 了 将 概率 表达 式 写 在 等 式 左 侧 ， 我 
们 认为 事件 巨 和 下 是 等 价 的 ， 其 中 事件 巨 表示 “第 NN 次 成 功 前 少 于 或 等 于 次 失败 "， 事 
件 下 表示 “获得 N 次 成 功 ， 试验 次 数 少 于 或 等 于 十 N”。 对 于 二 项 随机 变量 ,& 十 NN 次 试 
验 中 有 nn 次 成 功 的 概率 为 ; 


P(Y =n) = RN (3-284) 


teh 
n 

事件 G 表示“ 进行 了 k 十 NN 次 试验 ， 成功 次 数 大 于 或 等 于 N”。 尽 管 玉 和 G 是 不 同 的 事 
件 ， 但 关键 的 一 步 就 是 证 明 这 两 个 事件 的 概率 相同 。 因 此 有 : 


k+N 
P(G) = >` Ñ + NY png (3-285) 


n=N n 
可 知 这 个 概率 与 P(Y 宇 N) 是 相同 的 。 < 
3.9.5 泊 松 随机 变量 
在 许多 场合 都 会 遇 到 泊 松 随机 变量 ， 其 概率 密度 函数 为 : 


fx(z) = Depo 8 a SG( 工 一 如 (3-286) 
其 中 a>0 是 位 置 参数 ， 同 时 也 是 形状 参数 。 REUN 函数 为 : 
Fx (z) = het ny uz —n) (3-287) 


n=0 


泊 松 分 布 概率 密度 函数 的 一 些 例子 如 图 3-46 所 示 。 均值 和 方差 相等 : yy 二 ox =a. TH 
松 分 布 的 应 用 场合 包括 : 
o 许多 可 数 问 题 ， 比 如 经 过 一 段 时 间 后 的 放射 衰变 、 一 页 书 中 的 印刷 错误 、 在 某 个 时 
间 段 内 电话 公司 交换 机 收 到 的 呼叫 。 
e 二 项 分 布 的 一 种 近似 ( 见 第 4 章 )。 


0.25 0.25 
02 0.2 
= = 
X015 $0.15 
0.1 0.1 
0.05 0.05 
0 4 6 8 10 12 < iii ee 10 42 
x x 
a) b) 


图 3-46” 泊 松 概率 密度 函数 的 一 些 例 子 。a) a=2.5; b) 一 6.5。 支 集 为 Z+ ， 虚 线 指示 了 py, 的 位 置 
我 们 在 第 6 章 要 讨论 泊 松 计数 过 程 ， 泊 松 概 率 密 度 函 数 的 表达 式 包 含 了 该 过 程 汇总 时 
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间 :， 因 此 & 变 成 a 二 At， À 表示 速率 参数 。 
| 3-62 当 w 服从 参数 为 q/p 的 佑 马 分 布 时 ， 泊 松 分 布 可 以 被 用 来 推导 负 二 项 分 布 。 


因为 a 此 时 是 随机 的 ， 可 以 用 条 件 概率 来 写 出 泊 松 概率 密度 函数 表达 式 ( 见 第 4 章 关 于 条 
件 概率 的 讨论 ): 





fx jalala) = Sexp(— a) Io.) (2) (3-288) 


(因为 a 的 大 写 与 拉丁 字母 A 相同 ,我 们 在 此 采用 小 写 的 a， 这 样 不 会 引起 混 清 ， 它 
仍然 表示 一 个 随机 变量 。) 对 a 取 条 件 概率 意味 着 a 取 了 一 个 特定 值 ， 此 时 a 不 再 是 随机 的 。 
将 a 的 概率 密度 函数 代入 下 面积 分 表达 式 ， 并 在 它 的 支 集 上 进行 积分 ， 得 到 X 的 概率 密度 
函数 为 : 


EA = | fi ra) da = fx (xz) (3-289) 


式 (3-289) 为 一 个 混合 分 布 ，{fx|。(z|a)} 的 分 布 参数 为 a( 在 第 4 章 还 会 讲 到 混合 分 
布 )。fx|。(xla) 是 参数 为 a 的 泊 松 分 布 ，f。(a) 是 参数 为 {r 二 m， A= p/q) t fh 5 W. 3 ER 
函数 ， 可 知 fx(z) 是 参数 为 {pp，N 二 m} 的 负 二 项 概率 密度 函数 : 


fx (z) =| a S" exp(—a)8(x — n) 





ae (p/q)” exp(— ap/q)da 


gp" )” s 1 = nèm- 

o es 之 二 sz 一 可 a™™ exp(— a/q)da (3-290) 
在 指数 运算 中 用 到 了 1 十 p/q 二 1/q。 如 果 代 入 v=a/q 和 da 二 qdv， 积 分 表达 式 成 为 一 个 侈 
EEEE 


F a™™ ' exp(— a/g) da =a" |= exp(— v)du 
0 0 
=q"”" (nm) (3-291) 
因此 可 得 : 
ha =P DE (n+ mia —n) = > ate» mq"8(x—n) (3-292) 


[(m)n! 
对 于 整数 m, z€ Z+ , REWRB AS, 
RO). (atm)! 








T(m) (m—1)! (3-293) 
因此 式 (3-292) 中 的 系数 为 : 
[TIin+m) _ n+m—1 _ (n+m—1 Í 
T(m)n!  (m—1)!m! ` ( ) (3-294) 
在 负 二 项 概率 密度 函数 表达 式 ( 式 3-280) 中 用 到 了 上 面 的 表达 式 。 


ep 式 (3-283) 将 负 二 项 分 布 与 二 项 分 布 联 系 在 了 一 起 ， 与 此 类 似 可 以 写 出 下 面 





FA: 

P(X <k) = P(Y >a) (3-295) 
p X K 2 3 3 a 的 泊 松 分 布 , Y 是 参数 为 A= 1,r=k+1) 的 伽 马 分 布 。 根 据 附 录 也 可 
知 ， 下 不 完全 人 徊 马 函数 可 以 写成 下 面 的 级 数 形式 : 


me! yas Ga —1y12#t$ = 
y(a,b) = exp( 区 (3-296) 
式 (3-296) 为 伽 马 随机 变量 累积 分 布 函数 的 分 布 参 数 ， 因 此 可 得 : 
Se uE _ 1 vk+1,a) . 
PY SF )— (3-297) 


RA TRAD =k! 和 式 (3-296) 可 得 : 


115 


116 第 一 部 分 概率 、 随 机 变量 与 期 望 





j = klati" f 
P(Y >a) = 1 — expl Vd EIF] (3-298) 


分 子 分 母 同时 消 掉 &!， 将 求 和 表达 式 中 的 变量 替换 为 m 二 k 十 1 十 n 后 得 到 最 终结 果 : 
P(Y >a) = 1—exp(—a) >) © = exp(—a) > © = p(X < b) (3-299) < 
m=ktl m. m=0 m. 


3.9.6 超 几何 随机 变量 

超 几 何 随机 变量 与 二 项 随机 变量 比较 类 似 ， 但 有 两 个 区 别 ; (1 ) 有 NE N 个 对 象 可 供 
选择 。( i ) 采 样 是 非 奉 代 性 的 。 也 就 是 说 某 个 对 象 被 选取 以 后 ， 该 对 象 就 被 移 除 在 后 续 的 
选取 范围 之 外 了 。 对 于 所 有 的 待 选 对 象 存在 两 种 类 型 ， 一 种 的 规模 是 M( 成 功 )， 另 外 一 种 
的 规模 是 N 一 M( 失 败 )。 并 不 需要 非得 把 这 些 对 象 命名 为 “成 功 ”或 “失败 ”"”， 实 际 只 需要 对 
它们 二 者 进行 区 分 即 可 ， 对 其 中 一 种 感 兴趣 的 对 象 命名 为 “成功 *。 如 果 有 ?个 对 象 被 选 
出 ， 不 考虑 对 象 类 型 的 话 存在 (、) 种 组 合 。 我 们 在 此 研究 m 个 对 象 中 出 现 次 成 功 的 数 


目 ， 对 于 下 面 的 这 个 场景 : 


ly,l1 O05 ,0 (3-300) 
Lasers] Orter 
M 项 N 一 M 项 
其 中 1 表示 成 功 ，0 表示 失败 。 因 为 存在 M 个 成 功 对 象 ， 因 此 有 (”) 种 组 合 。 同 样 可 知 ， 
有 (、“_“ ) 种 失败 对 象 的 组 合 。 因 此 ，m 个 成 功 的 概率 为 下 面 的 比值; 


n 


os waw 

P(X =m) = — Ë (3-301) 
iad 
上 面 的 结果 可 以 根据 组 合 数学 计算 : 我 们 先 统计 实现 m WMA n —m 次 失败 的 所 有 
情况 的 数量 ,然后 再 除 以 可 以 选取 的 n 个 对 象 的 数量 。( 这 个 方法 在 第 2 章 中 也 用 到 过 ， 
输出 结果 为 等 概率 的 QQ， 用 某 个 事件 E 的 基数 来 计算 比值 P(E)==|EI/1Q|,) 超 几何 随机 
变量 的 概率 密度 函数 为 : 
Ss ge hia 


人 (3-302) 
m=max(0.2+M—N) ( ) 
” 


fx (=) = 

超 几 何 概率 密度 函数 的 例子 如 图 3-47 所 示 。 求 和 表达 式 中 的 限制 是 有 必要 的 ， 这 样 

确保 每 个 二 项 式 系数 的 求 和 下 限 不 会 超过 求 和 上 限 。 如 果 二 项 式 系数 可 以 包括 0， 那么 求 
和 上 下 限 就 可 以 简化 为 {0,N}。 累 积分 布 函 数 为 : 

nt 

m n— m 


Fx(z) = Pe ee N 
m= (0,n+M—N) ae 


u(x—m) (3-303) 


超 几 何 随机 变量 X 的 均值 为 jx 二 nM/N, HÆ ok =nM(N—M)(N—n)/N’*(N-1). 

超 几 何 分 布 的 应 用 场合 包括 : 

e 产品 的 质量 控制 ， 即 通过 抽样 来 判断 次 品 率 。 

e 估计 一 种 动物 的 数量 ， 即 对 M 个 的 样本 “ 打 标 签 ”， 然 后 将 这 部 分 样本 放 回 种 群 ， 
再 次 进行 采样 (2 个 样本 ) 来 估计 总 数 M. 
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0.5 0.5 
04 0.4 
< x 
= os Sos 
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图 3-47 超 几 何 概率 密度 函数 的 例子 。a) N=10, M=4, n=2; b) N=10, M=n=4, 
支 集 为 {max(0,n 十 M 一 N),…,min(M,n)}), 虚线 指示 了 px 的 位 置 


研究 n=l 的 情况 ， 此 时 概率 密度 函数 简化 为 : 


WQ ag 


fx (z) = 22 kk v ushani 
1 
= [(N—M)/N]é(x) + (M/N)ë(z — 1) (3-304) 


如 果 我 们 定义 会 M/N， 那 么 对 于 n==1 的 情况 超 几何 分 布 就 退化 为 伯 努 利 分 布 。 在 
第 4 章 会 讲 到 ， 当 M 和 NN 取 值 都 很 大 时 ,无论 n 的 取 值 是 多 少 ， 用 这 种 方法 定义 的 二 项 
分 布 (参数 为 p) 可 以 近似 为 超 几何 分 布 。 < 

设 一般 船 上 的 货物 数量 为 N 二 100， 假 设 其 中 M=15 个 货物 是 次 品 。 现 抽取 
n=5 个 样本 ， 其 中 工 个 样本 是 次 品 的 概率 由 如 下 表达 式 给 出 : 


r 


5 
z=0, 1, 2, 3, 4 # 5 xt HS DB) 0.4357, 0.4034, 0.1377, 0.0216, 0.0015 和 
2.9910, < 


3.9.7 离散 均匀 随机 变量 
离散 均匀 随机 变量 是 连续 均匀 随机 变量 的 一 个 相似 副本 ， 它 的 概率 密度 函数 为 : 


b 
ta = Noe” (3-306) 
其 中 as 6€ Z, a<b, N 全 0 一 a 十 1 表示 输出 结果 的 数量 。 累积 分 布 函 数 为 : 
b 
Fx(z) = 5 Ju — m) (3-307) 


离散 均匀 概率 密度 函数 的 例子 如 图 3-48 所 示 。 当 a=1, b=N 时 为 标准 离散 均匀 概率 
密度 函数 

离散 均匀 分 布 的 应 用 场合 包括 : 

e 输出 结果 为 等 概率 的 试验 ， 比 如 投掷 一 枚 丛 子 。 

e 数字 通信 系统 中 的 脉冲 幅度 调制 (PAM， 见 第 10 章 ) 。 
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图 3-48 ”离散 均匀 分 布 概率 密度 函数 的 例子 。a) a=— 5, b=6; b) a=2, b=7, 
支 集 为 {a,b}, 虚线 指示 了 wx 的 位 置 


S 离散 均匀 随机 变量 X 的 均值 为 : 


° È b 
px = xt > 28a — ndz = nu" (3-308) 


可 以 用 两 种 方式 来 写 求 和 表达 式 : 第 一 种 按照 a 的 升序 ,第 二 种 按照 6b 的 降序 : 
px = plat (a+) + + (a + N— D] = E (aN + >>) 





N-1 
1 1 
FOTN OFE ee AN — Die) (3-309) 


因为 上 面 两 个 表达 式 的 最 后 一 行 肯定 是 相等 的 ， 可 以 将 二 者 相 加 再 除 以 2 得 到 最 终结 
R: jx 二 (a 十 b)/2。 有 限 级 数 求 和 的 结论 也 可 以 用 来 计算 均值 ( 见 附录 E): 


N N—1 
X n= N(N+1)/2> n = N(N—1)/2 (3-310) 
3k T A E 8 m=n—a 后 : 
Sonta = [eb—a+ D+ Xm] (3-311) 
因此 可 得 : 
QANMAN + (—a+1)(6—a)/2] = (a+6)/2 (3-312) 
采用 类 似 的 方法 可 计算 出 方差 为 (见习 题 5-36) : 
o = (N? —1)/12 (3-313) 
请 注意 ， 尽 管 {fa, 6b} 和 NN 在 这 里 必须 取 整 数 ， 但 离散 均匀 随机 变量 的 均值 和 方差 与 
连续 情况 的 结果 是 非常 相似 的 。 < 
3.9.8 ”对 数 随 机 变量 (对 数 级 数 ) 
对 数 随 机 变量 的 概率 密度 函数 为 ; 
We rds Fy 2 Cp" /male nd (3-314) 


其 中 pE[0,，1]，g 会 1 一 p。 因 为 ln(q) 是 负数 ， 因 此 上 式 中 有 一 个 负 号 ， 这 样 确保 
fx(z) 是 一 个 合法 的 概率 密度 函数 。 对 数 分 布 ( 也 称 作 对 数 级 数 分 布 ) 来 自 于 下 面 的 迈克 
劳 林 级 数 : 
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In(1— p) 三 一 S Yasa (3-315) 
n=1 


公式 两 边 同 时 除 以 In(1 一 p)= 二 In(g)， 可 以 看 出 式 (3-314) 的 求 和 结果 为 1。 对 数 概率 
密度 函数 的 例子 如 图 3-49 所 示 。 累 积分 布 函 数 为 : 


Fy(z) = 7 la GO È /ur (3-316) 
0.8 0.8 
0.7 0.7 
0.6 0.6 
0.5 0.5 
Jo Soa 
0.3 0.3 
0.2 0.2 
0.1 0.1 
= 2 3 4 5 6 0 1 2 3 4 5 6 
x x 
a) b) 


图 3-49 ”对 数 概率 密度 函数 的 例子 。a) p=0.5; b) z 一 0.9。 支 集 为 WNW， 虚 线 指 示 了 jy 的 位 置 


对 数 分 布 的 应 用 场合 包括 : 
e 对 一 个 地 区 某 物种 丰富 度 的 建 模 。 
e 一 个 消费 者 在 某 段 时 间 内 购买 的 商品 数量 的 分 布 。 
GED 对 于 如 下 概率 质量 函数 的 比值 : 
Px aoa = — (3-317) 
可 以 看 出 对 数 概率 质量 函数 是 严格 说 减 的 。( 在 附录 正中 对 离散 随机 变量 的 函数 表达 式 进 
HRTRBEBOER, BAS kR E m=. 均值 为 ; 


=l 
px =- yee /n)d(a —n)dx = moe 


= > goa- —1]= = 有 may /9) (3-318) 


从 图 3-50 可 以 看 出 ， 当 p—1 时 px 会 急剧 的 增 大 ， 这 说 明 当 p 接近 于 1 时 概率 密度 
函数 的 拖 尾 会 非常 长 ， 这 与 图 3-49 不 同 ( 力 相 对 较 小 )。 长 拖 尾 的 原因 在 于 : X q—0 Bh, 
概率 密度 函数 分 母 中 的 In(q) 接 近 于 0。 方 差 为 o =—plptln(g)]/_ln’(q), HRM 
图 3-50 所 示 ( 见 习题 5-36) 。 < 
3.9.9 泽 塔 随机 变量 (Zipf) 

ÆI (Zeta) 随机 变量 是 基于 黎 曼 泽 塔 函数 得 到 的 : 


(a) & >) 5 (3-319) 
n=1 


其 中 a>1 是 一 个 实数 值 (复数 也 可 以 定义 泽 塔 函数 ， 此 时 要 求 Re(a) 过 1) 。 请 注意 ，5(Ca) 
是 附录 B 中 讨论 过 的 宕 级 数 。 pe eei 

fx Gay = a f (zn) (3-320) 
其 中 5(a) 是 一 个 归 一 化 因子 ， 这 样 确保 概率 密度 函数 的 积分 为 1。 累 积分 布 函数 为 : 
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01 02 03 04 05 06 07 08 09 
p 


图 3-50 ”对 数 随机 变量 的 均值 和 方差 随 p 变化 的 情况 


oe ye - 
Fx(z) = 5 22 u(z—n) (3-321) 


n=1 n° 

泽 塔 分 布 的 概率 密度 函数 例子 见 图 3-51. TUAH, PCX=1)=Fy (1) =1/€(a) A 

a 的 增长 而 快速 增 大 ， 所 以 概率 质量 函数 被 输出 结果 X = 1“ SIA”. "4 N 一 ce 时 ， 泽 塔 
分 布 可 以 被 看 做 Zipf 分 布 的 一 种 特例 (也 称 作 Zipf E). Zipf 分 布 的 概率 密度 函数 为 : 





N 
fy(y) = ey <a(y—n) (3-322) 
0.9 0.9) 
0.8 0.8 
0.7 0.7 
0.6 0.6 
< 90.5 = 0.5 
“0.4 = 0.4 
0.3 0.3 
0.2 0.2 
0.1 0.1 
š 2 gy9 8 Ë: 3 4, SSO) 7 8 
a) b) 


图 3-51 泽 塔 概率 密度 函数 的 例子 。a) a=2.1; b) a 二 3。 支 集 为 V， 虚 线 指示 了 jy 的 位 置 
式 (3-323) 表 示 第 2 个 广义 调和 数 ( 见 附录 B)。 
(3-323) 


泽 塔 分 布 的 应 用 场合 包括 : 
e 在 一 本 厚 书 中 单词 出 现 频率 的 建 模 。 
e 对 绝 大 部 分 输出 结果 都 很 少 发 生 的 情况 的 建 模 。 
与 对 数 分 布 类 似 ， 泽 塔 分 布 的 概率 质量 函数 也 是 严格 递减 的 : 
px[z + 1] _ z. V° 
px[ z] = (z£) 





(3-324) 
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因此 ， 众 数 一 定 为 mms 一 1。 均 值 比较 容易 计算 ， 
px 一 fies 二 | 26(2—nddz = cap? Z= šD (3-325) 
只 有 当 a—1>1=a>2 时 上 面 的 无 限 求 和 才 是 收敛 的 。 从 图 3-52 可 以 看 出 ， 当 a 接近 
2 的 时 候 均 值 变 得 非常 大 ， 这 说 明 在 拖 尾 部 分 的 概率 质量 很 大 (也 就 是 说 有 很 长 的 拖 尾 )。 
当 a 增 大 时 ， 均值 趋 向 于 1， 这 说 明 拖 尾部 分 的 概率 变 得 非常 小 ， 几 乎 所 有 的 概率 都 集中 
# X=1 处 ， 这 与 前 面 提 到 的 情况 吻合 。 例 如 ， 当 a 二 5 it, P(X=2)=0.0301, P(X=3)= 
0. 0040, P(X=4)=0. 0009。 需 要 将 泽 塔 分 布 的 概率 质量 函数 用 对 数 坐 标 来 表示 ,这样 即 
使 a 很 大 时 也 可 以 很 方便 的 观察 概率 质量 函数 。 当 a 汪 >3 时 ,方差 为 二 [8(a)t(a 一 2) 一 
忆 (a 一 1)]/&(a)， 该 结果 也 在 图 3-52 中 进行 了 体现 。 








p 2.5 3 3.5 4 4.5 5 
ae 
图 3-52 泽 塔 随机 变量 的 均值 和 方差 随 a 变化 的 情况 < 
习题 
随机 变量 及 其 分 布 35 对 于 下 面 这些 样 本 空间 ， 给 出 最 小 的 o- 域 ， 
3-1 设 Q= (一 3, 一 2, 一 1,0,1,2,3), 计算 下 面 每 使 得 X(w)=Lo 为 一 个 随机 变量 。(a)0: = 
个 随机 变量 的 映射 结果 : Ca) X, Cw) = R+ (b) Q = [0,4), 
sgnlw); (b) X: Cw) =w; (c) X, (w) = 3-6 ”验证 下 面 这 些 随机 变量 X 的 分 布 函数 是 否 合 
Ty, ~3,-161,3) Lew] + 21 -; 0.2 Cw]. 如 果 n 的 各 = 
个 输出 结果 都 是 等 概率 的 ， 计 算 这 三 个 随机 tes (a) Dy pu(z —m)s z€ Z, 0<p<1, 
变量 的 累积 分 布 函数 Fx (x), (b)z[u(z=)—u(a—2)], LER; 
3⁄2 N= (1,…,10}, 重复 计算 习题 3-1， 随 机 变 (c)X1/2)[u(z)+exp(z=—1)u(z=—1)], =€. 
HH: (a) Xi (w) =ulw— 4.5); (b)X, (o) = 3-7 (a) 计 算 并 绘 出 下 面 概率 密度 函数 的 累积 分 
(10—6w/2) T2680 Lw]; (c)X3(w)=sgn(w—2). AG PP 
3-3 设 0O=[ 一 1，1]， 请 重复 计算 习题 3-1， 随 机 fx(z) =(1/4)[u(z—1)—u(z+1)] 
变量 为 : (a) Xi (w) =exp(w); (b) X, (o) = + (1/6)8(z=—1) + (1/3)86(z — 2) 
coslwn/2); (c) X, Cw) 一 sgn(w)。 为 了 计算 (3-326) 
Fx(z)， 在 此 假设 2 的 输出 服从 均匀 分 布 。 (b) 重 复 (a) 的 要 求 : 
3-4 设 有 为 投掷 骨 子 试验 的 样本 空间 ， 定 义 的 z<=1 
X(w) = Inz Cw) + 214.) Cw) — La) (a), 给 nofe, —1<2<0 
H Q B/N o - 域 ， 使 得 XCo) 为 一 个 随机 变 (1/2)exp(—z), z>0 


量 ， 并 计算 每 个 输出 结果 的 概率 值 。 (3-327) 
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3-8 


XF a= [一 1,2] M Xlo) =a — 1, RRA 
上 的 概率 测度 为 乘 以 1/3 后 的 工 测度 ,计算 
FEx(z) 和 fx (x) 的 表达 式 。 
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3-9 


3-15 


3-23 


对 于 分 布 参 数 为 *==2 的 指数 随机 变量 X. 
试 计算 下 面 这 些 概率 。(a)P(l1 二 X=3); 
(by P(X>5); (ec) PCX>5|X>3); 
(d) P(X>2| X>3), 

设 X 是 参数 为 (uso) 的 高 斯 随机 变量 。 
(a) 用 标准 高 斯 随机 变量 的 累积 分 布 函数 
Fo。(z) 来 表示 PCr < X< xz,), WR p=, 
ca 一 2， 计 算 下 面 的 概率 ; (b)P( 一 2 一 X 一 
1); (YP(|X|>2)., 

某 次 考试 的 分 数 近似 服从 均值 为 60， 标准 
差 为 5 的 高 斯 分 布 。 试 计算 下 面 的 概率 
(a)P(X>90); (b) P (40 < X < 65); 
(c)P( | X—p| <2o). 

WY 服从 对 数 正 态 分 布 ， 分 布 参 数 与 习题 3-10 
相同 。 计算 下 面 的 概率 : (a2)P(1<Y<3); 
(b)P(Y 二 2)。 比 较 本 题 的 P (Y > 2) M4 
题 3-10 的 P(X 二 2) 这 两 个 结果 。 

证 明 当 ax 一 8 时 ， 泽 塔 分 布 是 关于 z=1/2 
对 称 的 。 

推导 参数 为 a 的 瑞 利 随机 变量 的 累积 分 布 
函数 ， 并 请 用 这 个 结果 来 验证 半 正 态 分 布 
的 均值 。 

对 于 参数 为 e= 2,o = 1) 的 高 斯 随机 变量 ,用 
QQ 函数 来 表示 下 面 的 概率 : (a)P( | X| >o); 
(b)P( 一 3 三 X 一 uy 过 1)。 再 用 误差 函数 来 表 
示 这 些 结果 。 

推导 下 分 布 众 数 的 表达 式 ， 即 式 (3-224) 。 

X 为 参数 为 一 2 的 瑞 利 随机 变量 ， 计 算 : 
(a)P(1< X<3); (b) P( X<4 Ñ X>3); 
(c) P(X>4 sk X<3), 

证 明 式 (3-187) 给 出 的 Logistic 随机 变量 的 
累积 分 布 函数 Fx (z), 

推导 对 称 拉 普 拉 斯 分 布 的 中 位 数 m, 表达 式 
( 式 (3-104)) ， 分 布 参数 为 {a ,a; ,c} 。 

以 z==a+ b HERA h BM BaP ta b t 
点 ， 并 将 计算 结果 与 例 3-25 中 柯 西 随机 变 
量 的 拐点 相 比 较 。 

推导 三 角 分 布 的 中 位 数 m. 表达 式 ( 式 (3-122))， 
分 布 参 数 为 (a,b,c). 

如 果 X 服从 泽 塔 分 布 ， 分 布 参数 为 {a = r, 
B), 当 B>co 时 ,证 明 Y 王 8X 的 极限 分 布 为 
伽 马 分 布 ， 且 分 布 参数 为 (A= lor}. 

i X RAKE [0,10] 上 的 均匀 分 布 。 假 设 
在 该 区 间 上 随机 的 取 一 个 值 =, 将 该 区 间 分 
为 两 个 子 区 间 。 假 设 Y 为 较 长 的 子 区 间 的 
长 度 ， 计 算 随 机 变量 Y 的 概率 密度 函数 。 
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3-25 


对 卡 方 分 布 随 机 变量 进行 转换 ， 对 于 参数 
为 a 的 麦克 斯 韦 - 玻 耳 效 曼 分 布 ， 证 明 其 均 
值 为 py =2a V27r。 

可 根据 变换 X 十 c 得 到 三 参量 的 韦伯 分 布 ， 
其 中 c 宇 0。 计 算 该 平移 分 布 的 中 位 数 ， 众 
数 以 及 任意 一 个 拐点 。 


离散 随机 变量 
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3-27 


3-34 


3-35 


对 于 分 布 参数 为 a 二 2 的 泊 松 随机 变量 X, 
计算 下 面 这 些 概 率 :，(a) P(X>3); (b)P(2—< 
X<5); (e) P( X=3 |2< X<5), 

将 一 枚 硬币 投掷 连续 5 次 ， 计 算 下 面 的 概 

3⁄2; (a)P(3 个 正面 ); (b)P(0 个 正面 或 0 

个 反面 ) 。 

Ca) 投掷 一 枚 硬币 直到 第 一 次 出 现 正面 ， 计 
AGERE 3 次 的 概率 。 

Cb) 投 掷 一 枚 硬币 直到 第 二 次 出 现 正 面 ， 计 
算 需 要 投掷 5 次 的 概率 。 

(co) 某 枚 硬币 正面 出 现 的 概率 为 PCH) = 
2/3， 将 这 枚 硬币 进行 投掷 直到 第 三 次 出 
现 反面 ， 计 算出 现 了 5 次 正面 的 概率 。 

投掷 一 枚 硬币 直到 第 一 次 出 现 正面 (万 )， 

或 者 投掷 到 第 N 次 就 停止 。 设 P(H)= p. 

将 投掷 次 数 定义 为 随机 变量 X， 计 算 概 率 

质量 函数 pxLzj]。 

计算 二 项 概率 密度 函数 的 众 数 ， 分 布 参数 

为 {N,p}。 

将 一 枚 硬币 连续 投掷 4 次。 将 第 一 次 正面 

后 出 现 的 反面 的 数量 定义 为 随机 变量 X, 

计算 概率 密度 函数 fx (x) 

对 于 一 个 二 元 对 称 信道 ， 输 入 为 X， 输 出 

为 Y， 符 号 表 为 (0.1), 信道 错误 概率 为 

P(Y=0|X=1)=P(Y=1|X=o)=0.1, 

为 了 提高 传输 的 准确 性 ,我 们 将 每 个 比特 

重复 两 次 传输 : 发 送 000 表示 0， 发 送 111 

表示 1。 如 果 采 用 这 种 发 送 方法 ， 计 算 此 时 

符号 错误 的 概率 。 

两 个 人 轮流 投 斤 一 枚 硬币 直到 第 二 次 出 现 

正面 。 我 们 直观 的 感觉 是 认为 先 投掷 的 那 

个 人 获胜 的 概率 会 较 高 。 计算 每 个 人 的 获 

胜 概率 ,并 据 此 判断 这 个 直观 感觉 是 否 

正确 。 

对 于 二 项 随机 变量 X， 分 布 参数 为 (p = 1/4, 

N = 5), WH: (a)P(X<2); (b)P(X=<2 sË 

X>3); (c) 计 算 z 使 之 满足 P( X2>-z)<0.01. 

假设 一 个 教授 拥有 15 本 概率 论 的 书 ， 为 方 

便 起 见 将 每 本 书 进行 编号 。 一 个 研究 生 每 

天 随机 的 借 走 两 本 书 ， 并 在 当天 晚上 归还 。 

请 计算 下 面 这 些 概率 ， 并 确定 离散 分 布 的 

类 型 。(a) 在 前 5 天, 第 4 本 书 被 借 走 两 次 

的 概率 ; (b) 直 到 第 3 天， 第 1 本 书 都 没 被 


借 走 的 概率 。 
如 果 我 们 对 几何 随机 变量 的 概率 PX > k) 
感 兴趣 ， 对 于 0<e<1 有 : 


| fxsdz = J, pat (3-328) 


因为 X> k 因此 n= 的 情况 被 排除 在 外 。 
请 给 出 上 面 求 和 结果 的 闭合 表达 式 。 
推导 二 项 分 布 概率 的 递归 表达 式 ， 即 
式 (3-252)。 
假设 一 个 离散 随机 变量 具有 性 质 PX = a + 
1)=aP(X=2x), cE Z*. 给 出 px[zj 的 表 
达 式 ， 并 证 明 1/2 二 P(X 是 偶数 ) 二 1。 
已 知 泊 松 随机 变量 的 分 布 参 数 为 a， 对 于 非 
整数 的 zxELcj，<o) 和 整数 zxE [a 1,0), 
证 明 概 率 密度 函数 都 是 非 递 增 的 。 
混合 随机 变量 
3-40 ”计算 如 下 的 混合 分 布 : 

Fx (xz) =1/4+ Q/6)u(z+ D + Q/3)u(z) + 1/4) 

sgn(z=—/)[1—exp(—a|z —#|)] 


(3-329) 
计算 它 的 概率 密度 函数 ， 并 验证 Fx (z) 是 
一 个 合法 的 累积 分 布 函 数 。 
进一步 阅读 


附录 A 中 提供 了 参数 连续 和 离散 随机 变量 许多 参 
考 文献 。 在 下 面 的 这 些 参 考 文献 中 ， 进 一 步 研究 
了 概率 论 和 随机 变量 的 有 关 知 识 。 

Davenport, Jr. (1970), Gray 和 Davisson(2004) ， 
Larson 和 Shubert (1979), Leon-Garcia (2008), 
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3-41 对 于 下 面 的 概率 密度 函数 : 
fx (z) 一 (1/8)8(z 一 1) 十 (1/8)6(Cz 一 2) 

十 (1/4)(u(Cz 一 1.5) 一 xz 一 2.5)] 

+ (1/2)exp(— x)u(x) 

(3-330) 

(ait ® P(X>1) fl P(X<2); (b)% H # 
积分 布 函数 Fx(z) 的 表达 式 。 
仿真 作业 
3-42 ”请 使 用 rand 函数 来 模拟 习题 3-23。 产 生 Y 
的 1000 个 样本 并 绘 出 直方 图 ， 观察 该 直 
方 图 与 理论 推导 的 概率 密度 函数 是 否 
吻合 。 
使 用 MATLAB 来 产生 例 3-44 的 结果 (图 3-34) 。 
同时 将 区 间 [— 1,1) 上 均匀 随机 变量 以 及 c= 
(at+6)/2 的 三 角 随 机 变量 的 对 应 结果 放 在 
一 起 进行 比较 (均匀 分 布 和 三 角 分 布 都 具有 
BMH). 
利用 MATLAB 从 分 布 参 数 为 {x 二 2，o 王 1) 
的 高 斯 分 布 中 产生 100 个 样本 ,根据 学 生 
氏 z 分 布 分 别 计算 样本 均值 为 90% 和 95% 
的 置信 区 间 。 再 根据 卡 方 分 布 来 计算 样本 
方差 为 90% 和 95% 的 置信 区 间 。 


3-43 


Mood, Graybill 和 Boes(1974), Olofsson(2005), 
Papoulis( 1965), Parzen(1960), Peebles (1993), 
Peebles ( 1993), Robinson ( 1985), Shiryayev 
(1984), Stark 和 Woods(2002), Viniotis(1998) 。 
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第 4= 
多 维 随 机 变量 


4.1 引言 


本 章 目的 是 将 一 维 随 机 变量 的 定义 扩展 到 二 维 或 多 维 联 合 随 机 变量 并 且 研 究 它们 之 间 
的 联系 。 首 先 对 第 3 章 学 习 的 一 些 随机 变量 进行 近似 。 这 些 近 似 不 仅 告诉 我 们 这 些 随机 变 
量 如 何 近 似 ， 而 且 可 以 用 来 简化 那些 用 原始 v 浴 于 随机 变量 X 
随机 变量 的 概率 密度 函数 (pdf) 比较 复杂 的 。 ”的 条 件 概率 密度 Ft , 
计算 。 接 下 来 ， 介 绍 用 于 推导 事件 概率 的 多 “V E 
维 随机 变量 的 联合 概率 分 布 ， 多 维 随机 变量 
也 称 为 随机 向 量 。 这 里 将 学 习 条 件 分 布 ， 即 





基于 条 件 事件 或 条 件 随 机 变量 来 计算 概率 。 图 ee Si 

4-1a 给 出 了 在 特定 值 x 下 的 条 件 概率 密度 函数 | BOT logistic 

方 |xCylz)。 条 件 是 非常 重要 的 ， 因 为 它 描 xm a 

述 了 两 个 随机 变量 的 相关 程度 以 及 它们 的 by $e 

© BAS Ñ * 图 4-1 随机 变量 的 变换 。a) 以 相关 随机 变量 X 为 
本 章 还 将 学 习 独 立 的 概念 ， 它 将 在 第 6、 条 件 对 应 一 个 特定 值 x 时 的 fr|x(y|z); 

7 章 中 来 描述 随机 过 程 的 一 个 特性 。 借 由 几 b) 变换 为 一 个 新 的 随机 变量 X， 概 率 密度 

个 例子 ,我 们 将 学 习 怎样 通过 其 他 随机 变量 函数 为 fx (x) 


的 变换 推导 随机 变量 的 概率 密度 函数 和 累积 

分 布 函 数 。 例 如 ， 指 数 分 布 的 随机 变量 经 过 特定 的 非 线 性 变换 后 变 成 了 Logistic 随机 变 
量 ， 如 图 4-1b 所 示 。 另 外 ， 本 章 研究 的 变换 中 还 包含 随机 变量 的 一 个 重要 集合 一 一 顺序 
统计 量 。 最 后 ,我们 将 讨论 混合 的 概念 ， 它 不 是 随机 变量 的 变换 ， 而 是 它们 概率 密度 函数 
的 加 权 组 合 。 


4.2 随机 变量 的 近似 


本 节 介 绍 的 近似 不 是 随机 变量 概率 密度 函数 中 的 参数 为 特定 有 限 值 的 特殊 情况 ， 而 是 
一 个 或 多 个 参数 非常 大 时 的 极限 情况 。 表 4-1 总 结 了 一 些 相 关 的 离散 随机 变量 ,我 们 将 首 
先 对 此 展开 讨论 。 





表 4-1 随机 变量 的 渐进 近似 











分 布 条 件 L 近似 
超 几 何 分 布 (N .M.n) N, M—co, M/N=p ] 二 项 分 布 {n，p} 
二 项 分 布 (n.p) n>, p>0, np=a 泊 松 分 布 {a) 
负 二 项 分 布 {m,p} m-*oo 泊 松 分 布 {m(1 一 pp)) 
二 项 分 布 (N. p) N 较 大 RM od A (w= Nps ət = Npq) 
超 几 何 分 布 {N,M,n) N, M>, M/N 为 常数 高 斯 分 布 (u = nM/Nyo? = n(M/N)(1—M/N)} 
泊 松 分 布 {N ,a} N BERK 高 斯 分 布 (u= Naso = Na) 
卡 方 分 布 {N) N 较 大 高 斯 分 布 {jy = N, 吧 一 2N) 
FERA ir) r K 高 斯 分 布 (= 0.07 = 1} 
伽 马 分 布 {Ayr} r BK 高 斯 分 布 (£ = r/o = r/)2) 


第 4 章 ”多维 随机 变量 


4.2.1 超 几何 分 布 的 二 项 分 布 近似 


考虑 超 几 何 分 布 的 概率 质量 函数 ， 参数 N € N.M € {0s ,N),n € (1,-. N}, 代入 
M=Np: 


M\(N—M Np\ (N—Np 
P(X = +>) = (Maca) _ (Moe) (4-1) 
由 kal 
令 M-=co，N-=co， 并 且 二 者 比值 PAM/N 为 常数 。 展 开 二 项 式 系数 ， 组 合 一 些 项 得 到 
”)， 消 去 分 子 、 分 母 的 公共 项 ， 得 ， 


(Np)! (N—Np)! ni(N—n)! 
HIQGND = z)! (n — z) 1 GN= Nb.— -F 22.) N! 
z=1 m—r—1 
= (") [Love -H J] (NS Np =m —+— (4-2) 
T k=0 m=0 I[[ (N= 


k=0 


式 中 ,分 子 有 x 十 (n 一 z) =n 项 (不 包括 前 面 的 (”) 因 子 ), 分 母 也 有 相同 数目 的 项 
因此 ， 可 以 将 分 母 比照 分 子 乘积 的 形式 分 为 两 部 分 (注意 =<), 


GIH ap Gee =s es cen 








可 得 : lim PÈ = lim NP = p (4-4) 
be == e ss ee oe) 
式 (4-3) 的 最 后 一 个 表达 式 是 参数 为 (n,p) 的 二 项 分 布 随机 变量 的 概率 质量 函数 。 


图 4-2 给 出 了 p=M/N=16/24, n=6 UTAN KE 


0.5 


0.45 





图 4-2 超 几 何 分 布 随机 变量 的 二 项 分 布 近似 举例 (为 便于 比较 ， 超 几何 分 布 的 pdf 略 向 左 平移 ) 


4.2.2 二 项 分 布 的 泊 松 近似 
设 随机 变量 服从 参数 为 (np) 的 二 项 分 布 ， 其 中 p € [0,1] 为 成 功 概率 ，zE Zt 为 试 
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验 次 数 。 当 p 非 常 小 而 n 非 常 大 时 ， 二 项 分 布 可 由 泊 松 分 布 近似 。 近 似 的 关键 是 当 n— co, 
pont np Sa 20 保持 不 变 ， 其 中 a 是 泊 松 分 布 随机 变量 的 参数 。 令 p=a/n, q&1—p, E 
新 整理 二 项 分 布 的 概率 质量 函数 : 


lim(“)pzg 一 =lim(” )(a/n)* (1 =) 
n=% \T n= \ T 
; (4-6) 
=lim ——“ (a /z1)(1—a/n)"(1—a/n) 
n= (n — x) In" 
观察 式 (4-6) 中 包含 2 的 三 项 ， 可 得 

lim(1 — a/n)” =1 (4-7) 
mn n! spanta ess el y (4-8) 
x= (n —z)]m” n= n” 
lim(1 — a/n)" =exp(— a) (4-9) 


式 (4-7) 显 而 易 见 ; 式 (4-8) 是 因为 分 子 里 的 最 大 次 究 为 x， 与 分 母 相等 ; 式 (4-9) 可 
以 利用 二 项 式 定理 得 到 ( 见 附录 B): 
(1—a/n)" =1+n(—a/n) + n(n — 1)(—a/n)?/2! +n(n— 1) (n— 2)(—a/n)’/3! 
+ + C—a/m", 
=1—a+[(n—1)/n]a?/2! — [n — 1) (m — 2)/n° Ja? /3! 


4 so (ena (4-10) 
当 n—csoBf, A n HATA HEEF 1 3FB(1/n)"—0, 因此: 
lim(1 — a/n)" = >] (—a)"/m! (4-11) 


m=0 


它 是 exp( 一 c) 的 展开 式 ， 式 (4-9) 得 证 。 将 式 (4-7)、 式 (4-8) 、 式 (4-9) 代 入 式 (4-6)， 得 到 
参数 为 a 的 泊 松 分 布 : 


lim ( Joa Sexpt y €s = S 25 (4-12) 
x! 


n 
n= VT 


图 4-3 给 出 了 p=0.1, n=25 的 二 项 分 布 概率 密度 函数 的 近似 ， 也 就 是 a= np= 2.5 
的 泊 松 分 布 概率 密度 函数 。 


一 < Ihr; n = 25, p=0.1 
一 起 泊 松 分 布 : a = 2.5 





0 2 4 6 8 10 
x 


图 4-3 泊 松 分 布 随机 变量 的 二 项 分 布 近似 (为 便于 比较 ， 二 项 分 布 的 pdf 略 向 左 平移 ) 
表 4-1 中 的 负 二 项 分 布 的 泊 松 分 布 近似 留 作 习题 4-3。 
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4.2.3 高 斯 近似 

K 4-1 总 结 了 前 面 学 习 的 离散 随机 变量 可 用 高 斯 分 布 近似 ， 这 些 近 似 都 是 用 第 7 章 的 
中 心 极限 定理 (Central Limit Theorem，CLT) 推 导出 来 的 。 表 4-1 给 出 的 卡 方 分 布 、 学 生 
氏 上 分 布 的 高 斯 分 布 近似 留 作 本 章 习 题 。 

定理 4-1( 中 心 极限 定理 ) 假设 (X... Xs) 为 独立 同 分 布 (iid) 的 随机 变量 ， 其 数学 
期 望 wk 和 方差 of 为 有 限 值 ， 则 





N 
lim P(— Fpl X: — nx) < z)= = __ exp(— 22 /2)d= (4-13) 
式 (4-13) 是 参数 为 (a = 0,o = 1) 的 标准 高 斯 累积 分 布 函 数 。 
见 第 7 章 。 


观察 发 现 ， 减 去 wy 再 除 以 VNo% 后 使 得 和 的 均值 为 0 且 方 差 为 1。 也 就 是 说 ， 如 果 
“足够 大 ”数量 的 独立 同 分 布 正 态 随机 变量 加 在 一 起 ， 和 的 分 布 近 似 服 从 标准 高 斯 分 布 。 为 
了 用 中 心 极限 定理 (CLT) 推 导 离 散 随机 变量 的 高 斯 近似 ， 必 须 有 足够 多 的 随机 变量 相 加 。 
(独立 随机 变量 在 本 章 稍 后 定义 ， 它 类 似 于 第 2 章 介绍 的 独立 事件 。) 

4.2.4 二 项 分 布 的 高 斯 近似 

二 项 分 布 随机 变量 可 由 成 功 概率 为 p 的 NN 个 独立 同 分 布 伯 努 利 随 机 变量 {X,} 之 和 得 
到 。 其 均值 和 方差 分 别 为 Np 和 Npg。 RE ea 
- edu Np) (4-14) 
近似 服从 标准 高 斯 分 布 。 可 以 将 上 式 中 的 求 和 看 成 多 个 随机 变量 到 一 个 随机 变量 的 变换 


(本 章 稍 后 将 介绍 随机 变量 的 变换 )。 或 者 当 N 足够 大 时 , Z = °G 的 概率 密度 近似 服从 
均值 为 Np、 方差 为 N pq 的 高 斯 分 布 : 
fz (z) = 








1 
exp(— (z — Np)° /2Npq) (4-15) 
V 2=Npq 


注意 ， 均 值 和 方差 不 是 由 不 同 的 参数 独立 控制 的 ， 对 于 一 个 给 定 的 p 值 (或 9)， 当 NN 很 大 
时 ， 可 以 得 到 一 个 特定 的 高 斯 近似 。 图 4-4 给 出 了 y= 二 Np 二 2.5 Alo = Npg= 2. 25 时 近似 
的 例子 。 
4.2.5 泊 松 分 布 的 高 斯 近似 

与 前 面 的 近似 方法 类 似 ， 同 样 假设 有 N 个 独立 同 分 布 的 参数 为 a 的 泊 松 分 布 随机 变 
量 ， 它 们 之 和 服从 参数 为 Ne 的 泊 松 分 布 ( 见 习题 4-25) 。 如 果 求 和 式 中 每 一 项 的 均值 和 方 
差 都 是 a， 那 么 





xe, — a)’ (4-16) 
TRE: = 


近似 服从 标准 高 斯 分 布 。 或 者 说 ， 当 N 足够 大 时 , Z = Si 的 概率 密度 函数 可 由 下 式 
近似 ， 
fz (z) = 





= exp(— (*— Na)?/2Na) (4-17) 


TING 
其 均值 为 Na， 方差 为 Ne。 与 二 项 随机 变量 的 高 斯 近似 类 似 ， 均 值 和 方差 不 是 独立 的 由 不 
同 的 参数 决定 ， 实 际 上 二 者 相等 。 图 4-5 给 出 了 a5 = Na=5 时 的 近似 结果 。 
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-4 二 项 分 布 ;N=25,p=0.1 
一 一 高 斯 分 布 :py = 2.5，o2 = 2.25 
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图 4-4 三 项 分 布 随机 变量 的 高 斯 分 布 近似 举例 


= AA: N = 10,a = 0.5 
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图 4-5 泊 松 分 布 随机 变量 的 高 斯 分 布 近似 举例 


4.2.6 超 几 何 分 布 的 高 斯 近似 


最 后 ， 由 于 二 项 分 布 随机 变量 可 用 高 斯 概率 密度 来 近似 ， 而 前 者 又 可 以 用 来 近似 超 几 
何 分 布 ， 从 而 可 以 得 到 超 几 何 分 布 随机 变量 的 高 斯 近似 。 因 此 ,同样 假设 p 为 常数 ， 
limM/N 二 p， 那 么 高 斯 近似 的 均值 为 aM/N， 方 差 为 nLM/N)(1 一 M/N)( 利 用 了 4g 会 1 一 


p 二 1 一 M/N)。 同 样 ， 均 值 和 方差 不 是 独立 的 参数 。 图 4-6 给 出 了 N=24, M=12, n=4 
时 这 种 分 布 的 例子 。 

表 4-1 中 的 最 后 三 个 高 斯 近似 留 作 本 章 习 题 ， 注意 ， 这 些 近 似 不 是 基于 表 中 第 一 列 的 
随机 变量 之 和 ; 相反 地 ， 当 随机 变量 的 自由 度 较 大 时 ， 这 三 个 分 布 近似 一 个 高 斯 分 布 。 然 
而 ,考虑 到 第 3 章 学 过 当 自 由 度 给 定时 ， 这 些 特定 的 随机 变量 可 由 其 他 随机 变量 相 加 得 
到 ， 其 中 求 和 个 数 由 自由 度 决 定 。 因 此 ， 当 卡 方 分 布 的 N、 学 生 氏 “上 分布 和 伽 马 分 布 的 ~ 
参数 很 大 时 ， 中 心 极限 定理 同样 适用 。 
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- -4 超 几何 分 布 :M= 12, n=4, N= 
— aon ig 22, ormi 





图 4-6 超 几 何 分 布 随机 变量 的 高 斯 分 布 近似 举例 


4.3 联合 分 布 和 边缘 分 布 


我 们 希望 得 到 多 维 随机 变量 的 联合 概率 描述 ， 从 而 量化 它们 的 关系 。 在 许多 应 用 中 这 
一 点 是 非常 重要 的 ， 如 估计 理论 ( 见 第 9 章 和 第 11 章 )， 就 是 从 别 的 随机 量 的 数据 中 估计 
或 预测 随机 变量 或 随机 过 程 的 特性 。 第 3 章 中 学 习 了 单个 随机 变量 的 概率 密度 函数 ， 可 以 
用 类 似 的 方法 获得 两 个 随机 变量 X 和 YY 的 联合 概率 密度 函数 。4. 6 节 介绍 抽象 的 概率 空间 
AFP) 到 多 维 随机 变量 的 映射 。 这 里 仅 给 出 联合 概率 密度 函数 的 定义 。 

定义 (联合 概率 密度 函数 ) 用 fx (z,y) 表示 随机 变量 和 了 的 联合 概率 密度 函数 ， 
计算 如 下 : 


P(x, < X < z; ,> < Y Sy) = [PP ferte ydydz (4-18) 


其 概率 测度 定义 在 观测 空间 {及 BRIE, m RB X TT 上 的 勒 贝 格 测度 完全 连续 。 

以 上 概率 通过 在 笛 卡 儿 积 [>i ,zs]X[y ,yj 中 对 联合 概率 密度 积分 得 到 , [z ,zz JX [> 
yn] ER? 上 一 个 和 矩形。 图 4-7a 给 出 了 (一 co,z] X (— oy] 上 的 交集 。 

利用 fx,y(z,y) 可 以 得 到 X 和 了 各 自 的 概率 密度 函数 ， 在 这 里 称 边缘 概率 密度 函数 。 
从 图 4-7b HIE HX) 1] (—ee<Y=<co)=(X<x), At 


—o < Yeu 





— < X < x 
b) 





4-7 联合 概率 分 布 。a) 利用 联合 概率 密度 函数 在 (一 so,z]xX (一 co,y] 上 的 积分 计算 P( X<z, YS 
y); b) 利用 联合 概率 密度 函数 在 (— 90,2] X (一 so, 十 ce] 上 的 积分 计算 P(X 委 z)， 延 伸 到 zy 
轴 端 点 的 矩形 边缘 为 无 穷 大 
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PX < z) = PCX < z, —co < Y<os) (4-19) 
Hi E BF — OLY SooFR KG ih X 的 概率 测度 。 借 助 联合 概率 密度 函数 ， 式 (4-19) 等 于 
Fy (z) =| | Ascz,yydzay (4-20) 


利用 菜 布 尼 茨 (Leibniz) 的 积分 准则 ( 见 附 录 D)， 对 Fx(z) 关 于 工 求 微分 后 ， 可 得 X 的 边 
SR HG AE PF IE wR 


fx (z) = | fertz,y)dy (4-21) 
同 理 可 得 Y 的 边缘 概率 密度 函数 ; 
Jfy (y) = l: fx.vy (Ty) dr (4-22) 


总 之 ， 通 过 简单 地 在 某 个 随机 变量 的 整个 区 间 内 对 联合 概率 密度 函数 进行 积分 ， 可 以 
得 到 另 一 个 随机 变量 的 边缘 概率 密度 函数 。 边 缘 累 积分 布 函数 就 更 容易 得 到 了 ， 

Fx(z) = FExr(zycely Fy(y) = Fxy (°°, y) (4-23) 

GED 图 4-8 纷 出 了 高 斯 随机 变量 X 和 了 的 联合 概率 密度 的 例子 。 参 数 =l, 

py =0, ok=2, 3 二 1， 相 关系 数 p 一 0. 9( 见 第 5 章 )。 本 章 稍 后 将 讨论 此 二 维 高 斯 概率 密 

度 函 数 以 及 图 中 义 和 Y 对 应 的 边缘 概 率 密度 函数 。 
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图 4-8 高 斯 随机 变量 。a) p=0. 9 时 的 二 维 概率 密度 函数 ; b) 边缘 概率 密度 函数 < 





GED 下 式 中 的 联合 概率 密度 函数 
fx.y(z=,y) = bexp(— 2x — 3y) Iro. Cx) Ito. (y) (4-24) 
对 应 的 边缘 概率 密度 函数 分 别 为 : 
fx (z) =6| exp(— 2x — 3y) Ito.) (x) dy A 
=— 2exp(— 2x) Ito...) (z)exp(— 3y)]% = Zexp(— 2z)Is, (z) (4-25) 
fy (y) =3exp(— 3x) It,» Cy) (4-26) 
由 于 联合 概率 密度 函数 等 于 边缘 概率 密度 函数 相 乘 ， 因 此 买 和 Y 两 个 随机 变量 独立 。 < 


4.4 独立 随机 变量 


独立 随机 变量 出 现在 许多 应 用 中 ， 它 经 常 作 为 一 个 近似 以 导出 一 些 问题 的 结果 ， 否 则 
这 些 结果 将 是 不 可 能 得 到 的 。 
定义 (独立 随机 变量 ) 随机 变量 X 和 YY 是 独立 的 ， 当 且 仅 当 
Fxyr(Crzyy) = Fx(x)Fy(y) (4-27) 
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其 中 ，Fx(Cz) 和 FFvy(Cy) 是 边缘 累积 分 布 函数 。 

由 于 累积 分 布 函 数 是 事件 发 生 的 概率 ， 因 此 上 述 定义 不 仅 符合 直观 认识 ， 而 且 符合 第 
2 章 学 习 的 概率 知识 : 对 于 独立 事件 A、B，P(AB)=P(A)P(B)。 由 式 (4-27) 可 以 直接 
得 出 联合 概率 密度 函数 ， 对 于 独立 随机 变量 X、Y， 联 合 概率 密度 函数 同样 可 以 分 解 为 乘 
积 的 形式 (同样 为 独立 的 定义 ) : 

fx. y (z, y) = fx(xw)fy(y) (4-28) 

设 随机 变量 X 服从 标准 高 斯 分 布 ， Y R A£ k A 的 指数 分 布 。 如 果 它 们 是 
独立 的 ， 那 么 马上 可 得 它们 的 联合 (二 维 ) 概 率 密 度 函 数 : 
À 


5 exp (=. 27/2 — Ay Tio Cy Ecs Gr) (4-29) 
x 


这 可 以 扩展 到 更 多 的 独立 随机 变量 。 如 果 世 在 [一 1，1j 服 从 均匀 分 布 ， 那 么 三 个 变量 
的 联合 概率 密度 为 : 


fx.y.z (Z, y, z) = 2 





fx. (z, y) = 





> eng 表册 一 和 Ja (4-80 
rid 


与 式 (4-29) 相 比 ， 式 (4-30) 有 1/2 的 系数 ， 而 且 包 含 指 示 函 数 ， 该 函数 确定 2 的 支 集 。 < 
设 随机 变量 X 服从 标准 高 斯 分 布 , Y 在 [一 2，2] 上 服从 均匀 分 布 。 如 果 两 个 
随机 变量 独立 ， 那 么 它们 的 联合 概率 密度 为 ;: 


Ç zC TEAT OE Cera EN (4-31) 
该 指示 函数 清楚 地 定义 了 取 值 范围 ， 图 4-9 所 示 为 该 函数 的 三 维 图 形 。 





fx, v (ms y) = 





” -5 -5 


x 


图 4-9 独立 的 高 斯 分 布 、 均 匀 分 布 随机 变量 的 二 维 概率 密度 函数 < 


从 函数 的 角度 我 们 可 以 看 出 ， 对 于 独立 随机 变量 , Z Y 的 取 值 范围 内 ， 随 机 变量 X 
的 概率 密度 函数 的 基本 形状 保持 钟 形 不 变 。 同 样 可 以 看 出 ， 在 的 取 值 范围 内 ，Y 的 基本 
形状 保持 平坦 (均匀 ) 不 变 。 这 是 独立 随机 变量 定义 的 性 质 ， 无 论 一 个 随机 变量 的 输出 如 何 
改变 ， 其 他 随机 变量 的 边缘 概率 密度 函数 的 形状 保持 不 变 ( 虽 然 为 保证 二 维 概率 密度 函数 
的 积分 为 1， 它 有 一 个 缩放 )。 

接 下 来 ,我 们 将 定义 两 个 随机 变量 X 和 Y 的 条 件 分 布 ， 当 变量 彼此 不 独立 的 时 候 ， 
这 是 一 个 很 有 用 的 概率 测度 和 相关 度 指标 。 


4.5 条 件 分 布 
随机 变量 X 的 条 件 分 布 是 测度 空间 { 及 ，B(R)} 上 以 一 个 事件 或 其 他 随机 变量 为 条 件 
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的 概率 测度 。 这 个 条 件 实际 上 提供 了 有 关 试验 的 信息 ， 并 且 修 改 了 样本 空间 。 条 件 分 布 的 
概念 与 第 2 章 中 讨论 的 事件 概率 类 似 ， 这 里 把 它 扩展 到 随机 变量 的 累积 分 布 函 数 和 概率 密 
度 函数 。 
定义 (条 件 分 布 函数 ) 假设 P(E) 天 0， 以 事件 巨 为 条 件 ， 随 机 变量 X 的 累积 分 布 函 
数 为 : 
P(X < z,E) I 
一 般 情况 下 ， 没 有 必要 讨论 概率 为 0 的 事件 条 件 下 的 概率 。Fx|s(z|E) 是 随机 变量 X 
的 有 效 的 累积 分 布 函数 (概率 测度 ) ， 它 具备 第 3 章 中 所 描述 的 性 质 。 注 意 ， 它 不 是 条 件 事 
件 正 的 概率 测度 。 图 4-10 给 出 了 一 个 条 件 累积 分 布 函数 ， 其 中 事件 A 在 抽象 样本 空间 Q 
H, HEX), X 为 随机 变量 。 由 于 我 们 感 兴趣 的 是 随机 变量 ， 事 件 王 可 能 代表 {(Y 过 >)， 
Y 为 男 一 个 随机 变量 。 但 也 有 可 能 对 其 他 条 件 感 兴趣 ,例如 {0 三 Yy} 、{(Y>y} 等 。 当 事件 
E 二 (YS<y) 发 生 时 ， 条件 累 积分 布防 数 为 ; 
Fx|s(z|E) x P(X = Tr = 352 w Fx.y (z, y) 


PY <y) Fy) kee) 


A: X< x 





` NN ASS te 
图 4-10 抽象 样本 空间 Q 中 的 条 件 事件 E 以 及 E 到 随机 变量 Y 的 映射 


在 抽象 样本 空间 中 ， 以 王 为 条 件 使 2 缩小 为 正 ， 因 此 只 需 考虑 A 中 包含 E 的 一 个 子 
集 ， 如 图 4-10 中 事件 的 交集 所 示 。 这 些 事件 映射 至 z-y 平面 上 ， 交 集 AN E 映射 到 了 
{Xz} 站 {Y<y} 的 区 域 。 式 (4-33) 中 的 联合 累积 分 布 函数 就 定义 在 这 个 区 域 ， 经 过 Fy(y) 
的 归 一 化 后 ， 条 件 累 积分 布 函数 变 成 了 一 个 有 效 的 概率 测度 。 

如 果 Fx|s(x|E) 关 于 zz 绝对 连续 ,利用 第 3 章 的 拉 东 - 尼 柯 迪 姆 (Radon-Nikodym) 定 
理 ， 可 以 得 出 以 下 条 件 概率 密度 : 


fx |=Gz|E) = SF y|e(21E) (4-34) 
将 式 (4-33) 人 代入， 对 E=(Y¥oWA: 
— = L “S= xw 
fx |=(z|EËE) ER) aah xv (Eo) (4-35) 


需要 注意 的 是 ， 微 分 没有 写成 联合 概率 密度 函数 fx,y(z,y)， 这 是 因为 我 们 没有 关于 
条 件 随机 变量 y 求 微 分 。 下 面 将 条 件 分 布 的 定义 扩展 到 关于 随机 变量 Y 的 条 件 。 

我 们 从 定义 在 一 个 时 间 间 隔 上 的 概率 开始 ， 它 是 一 个 具有 非 零 概率 的 事件 ， 然 后 令 间 
隔 长 度 趋 于 0， 对 于 小 0: 

f | frr dydz 
A teks oe 
Pits teed <p rT wakaka Ju Pe ere 
(4-36) 

RA: 
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Py 和 yD + ef y ly) (4-37) 
CHAI EW fy(y) 在 e 区 间 上 的 积分 ， 可 以 得 到 以 下 近似 : 
$ yte 
Frjvaly SY<s+Ə Q= | | fxy (z, y)dydz (4-38) 
同样 ， 可 以 代入 : 

yte 

| fxy (x,y dy 人 ef xy (a, y) (4-39) 


令 e>0, 得 出 : 
Fx|y(z|y) =limFx|y(z|y YYy+e) 


f | aC.) | far Gey dy (4-40) 

i R 
在 最 后 一 个 等 式 里 ， 人 分子、 分母 消 去 了 s。 对 式 (4-40) 关 于 工 求 微分 ， 得 出 条 件 概 率 密度 ， 
fxjvGaly) = ÈFrjr = AEE (4-41) 


式 (4-41) 是 在 随机 变量 Y 王 > 条件 下 得 出 的 ， 而 式 (4-35) 是 在 随机 事件 EY 的 一 个 区 
间 ) 条 件 下 得 出 的 ; ER A 
GED 考点 两 个 随机 交 量 的 均值 都 为 0， 方差 都 为 1 的 二 维 高 斯 分 布 : 
fx, (z+ ly) = nal TTE i! — 20ry +z) (4-42) 
其 中 6p 为 互相 关系 数 。Y 的 边缘 概率 密度 为 : 
ia = | Fe y = 


将 这 两 个 式 子 相 除 ， 得 到 条 件 概 率 密度 函数 : 





1 2 
exp(— y /2) (4-43) 
V2n 


fx|v(z|y) = (2? — 2ory + y) + /2) 


1 1 
—— P| 7 二 YD 
iS | roe 1 p? (4-44) 
a ce Vek Er SEL ) 
它 仍然 服从 高 斯 分 布 。 与 X 的 边缘 概率 密度 函数 是 标准 高 斯 分 布 相 比 ， 我 们 发 现 条 件 概 
率 密度 的 均值 从 0 变 成 了 jix|y 一 py， WRRIRMT ok|y—l—p. HEX Y HK, & 
件 中 提供 了 六 的“ 信息”。 特别 是 ， 观察 到 当 Y 二 y 时 ，X 的 条 件 概率 的 均值 为 py。 图 4-11 
给 出 了 p= 二 0.9、y 二 5 时 的 边缘 和 条 件 高 斯 概率 密度 函数 。 在 此 条 件 下 ， 由 于 Y 5 X BE 
相关 (有 大 的 正 相 关系 数 )， 可 以 得 出 (条 件 ) 的 输出 更 可 能 是 在 5p 二 0.45 附近 。 这 是 由 
于 方差 为 1 一 pr 二 0. 19， 与 边缘 概率 密度 函数 的 1 相 比 小 了 很 多 。 另 一 方面 ;如 果 p 一 0， 
也 就 是 X 和 了 是 不 相关 的 (进而 独立 ， 因 为 它们 是 联合 高 斯 的 )， 那 么 X 的 条 件 概率 密度 
函数 与 它 的 边缘 概率 密度 函数 相同 ，Y 没有 提供 XX 的 任何 信息 。 < 

在 许多 应 用 中 ， 可 以 利用 这 种 条 件 信 息 作出 决策 或 预测 ， 这 部 分 内 容 将 在 本 书 第 三 部 
分 介绍 。 本 节 最 后 简要 介绍 信息 论 中 的 一 个 专题 ( 见 第 10 章 ) 。 


随机 变量 X 和 了 的 平均 互信 息 为 : 
I(X;Y) aj” f fx. (z,y)log( fx |vy(z|y)/fx(z=))dz=dy (4-45) 


对 数 通常 取 2 或 e。I(X;Y) £ X“ 包含"Y 的 信息 的 测度 ， 反 之 亦 然 。 观 察 发 现 ， 如 果 
X FY AX, 则 fx|lr(z|y)=fx(z), 并 且 


I(X;Y) = | f He thay) Wak Ch Fx (zyydxdy = 0 (4-46) 
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当 两 个 随机 变量 不 相关 时 ， 它 们 没有 提供 关于 彼此 的 任何 信息 。 对 于 例 4-5 中 的 联合 高 斯 
分 布 的 随机 变量 ， 可 以 直接 得 出 (见习 题 4-14): 


I(X;Y) = 一 (1/2)ln(l 一 22) (4-47) 
图 4-12 画 出 了 该 表达 式 ， 表 明 随 着 相关 性 的 增加 ( 正 或 负 o) 互 信息 显著 增加 。 第 5 章 
将 进一步 探讨 相关 性 ， 讨 论 相 关 性 如 何 影响 联合 分 布 的 形状 。 < 





-8 -6 “4 -2 0 2 4 6 8 
x 


图 4-11 例 4-5 对 应 的 边缘 、 条 件 高 斯 概率 密度 函数 。 参 数 (a = Ov = 1) fux|y = 5, 
ox |v = 0.4359) 。 条 件 概率 密度 函数 (点 画 线 ) 的 方差 较 小 


2 
1.8 


0 0.2 0.4 0.6 0.8 - 1 
lol 


E 4-12 例 4-6 中 不 同 相 关系 数 o 对 应 的 标准 高 斯 随机 变量 的 互信 息 


4.6 随机 向 量 


可 以 通过 事件 空间 AF) 的 输出 到 N 维 欧 几 里 得 空间 R" = PRX oo X RAY 2 SE BË BJ ( PR 
数 )， 将 随机 变量 的 定义 扩展 到 随机 向 量 。 用 函数 的 列 向 量 Xw) AX Cw) ye Xy Cw) J" 
表示 多 维 映射 ， 其 中 X,(w) 表 示 从 wEQ 到 RN 的 第 n 个 坐标 的 映射 。 因 此 ， 向 量 映射 是 从 
事件 到 RN 中 超 矩 形 开 集 的 映射 。 可 简写 为 : 

X(w) > XA[X Xn] (4-48) 
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这 里 XER“ 表示 随机 向 量 。 图 4-13 给 出 了 N=2 时 映射 的 一 个 例子 ， 对 应 事件 AEQ 到 
(—co,a]X (—so,b] € R 半 无 限 矩 形 的 映射 。 图 中 B 表示 BCRN) 中 的 超 和 矩形 ， 由 笛 卡 儿 


m |[ [a,,5,](b, > a,) 确定 。 尽 管 B(R) 的 定义 基于 及 上 的 开 区 间 ， 但 是 它 也 包括 半 开 区 


间 、 闭 区 间 以 及 离散 的 点 。 同 理 ， 对 N>1 的 随机 向 量 : BROER 上 的 全 开 、 半 开 、 
闭 超 矩 形 以 及 离散 点 。 在 下 列 两 个 条 件 下 ， 了 映射 向 量 和 (w) 是 可 测量 的 : ( i ) 各 部 分 都 是 
可 测量 函数 (与 标量 情况 相同 )(ii ) 各 闭 象 {X CB) ) 的 交集 包含 在 大 中 : 

X'(B) = {w:X, lw) € [ap 一 1 N} 


N 


一 Xa Eann D HA € Z (4-49) 





P((-%,a] x (-%,b]) 


图 4-13 MARR 的 映射 , 事件 B 的 原 象 以 及 到 [0,1] 闭 区 间 的 概率 映射 


第 二 个 条 件 非 常 重要 ， RENT BER 代表 的 超 和 矩形 ， 该 矩形 必须 在 抽象 样本 空 
间 Q 中 有 逆 象 AGE 和 。 

考虑 抛 两 个 硬币 的 试验 ， 并 定义 以 下 随机 变量 ， Xi (w) 一 正面 H W X k, 
Xz (w) 王 正面 H 的 次 数 减 去 反面 工 的 次 数 。 很 明显 ， 原 始 样 本 空间 Q 里 有 2 三 4 个 等 概 
率 输出 ， 其 医 集 P(C) 王 三 有 2 三 16 个 元 素 。 随 机 变量 X, 输出 为 (0,1,2), X, 输出 为 
{ 一 2，0，2}， 如 图 414 所 示 。 虽 然 笛 卡 儿 乘积 {0,1,2} X 4(—2,0,2) € 2 有 9 个 点 ， 但 
只 有 三 个 具有 非 零 概 率 ;: x= {[2,2]7,[1,0]7,[0, 一 217), 见 图 中 实心 圆 。 概 率 密度 函数 分 
别 为 : 


fx, Ga) =(1/4)6C71) 十 (1/2)8(zi 一 1) + A/H 一 2) (4-50) 

fx, (x2) 一 (1/2)8(zs) + (1/4)8(z; 一 2) + (1/4)8Caz + 2) (4-51) 
Fx, ox, T1972) = 1 /4)8(z, — 25.22 — 2) 十 (1/2)8(zi — 1,22) 

+ (1/4)8( a1 +22 +2) | (4-52) 





图 4-14 fJ 4-7 中 随机 向 量 HH YR, BIR? qh x = [2,2] 输出 
HH Ma, z;)=óO(2zi)ó(z;)( LM R B)。 通 过 观察 得 出 边缘 概率 密度 ， 并 且 可 以 通过 简 
单 地 对 联合 概率 密度 函数 积分 验证 它们 。 需 要 注意 的 是 ， Xi 和 和 X, 不 是 独立 的 : 
fx x, (x, 9X2) = fx, (z1) fx, (x2). 接 下 来 ， 用 B 表示 事件 (X, < 2, X, SOs 对 应 是 半 无 
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限 和 矩形 ， 只 包括 输出 [0, 一 2] 。 其 逆 象 是 : 
X (B) =X7'((— co,2)) N Xz" ((— 9 ,0)) 


={TT,TH,HT} N TT = TT € Z aq 

这 是 Q 空间 中 的 一 个 特定 输出 。 再 考虑 另 一 个 事件 C: Xi Sl, HRA: 
X. (C) = Xj'([1,00)) = (TH ,HT,HH) € Z (4-54) 
RNUAA Z E 3 £P(Q) 8 — AETA A 3 H), < 


符号 方面 ， 用 加 粗 的 大 写字 母 XX 表示 随机 向 量 ， 其 输出 记 做 加 粗 的 小 写字 母 x。 然 
而 ， 我 们 也 用 加 粗 的 大 写字 母 表 示 ( 和 确定) 矩阵， 如 后 面 将 讨论 的 瑟 的 自 相 关 和 矩阵 Rxx 。 读 
者 应 能 够 从 上 下 文中 区 分 出 随机 向 量 X 和 确定 矩阵 Rxx 。 

接 下 来 的 几 节 将 介绍 一 些 多 维 随机 变量 。 事 实证 明 ， 用 途 广 泛 的 相关 随机 变量 的 多 维 
概率 密度 函数 不 是 很 多 。 实 际 上 ， 可 以 定义 多 个 不 同 的 多 维 概率 密度 的 版 本 ， 使 它们 都 具 
有 相同 分 布 类 型 的 边缘 概率 密度 。 稍 后 我 们 将 提供 指数 随机 变量 的 这 种 例子 。 另 一 方面 ， 
随机 变量 独立 的 条 件 下 ， 将 边缘 概率 密度 函数 简单 相 乘 可 以 得 到 多 维 联合 概率 密度 函数 。 
其 中 一 个 例子 就 是 下 面 介 绍 的 二 维 均匀 概率 密度 函数 。 

4.6.1 二 维 均匀 分 布 


HiX ，Xs*} 是 联合 均匀 的 ， 它 们 的 联合 概率 密度 函数 如 下 : 

Cy a < zi S< bi, a; < z+: < b; 

0， 其 他 (4-55) 
= cl ra 6,) (41) Lea, 0,1 (re) 


由 于 一 个 有 效 的 概率 密度 函数 积分 值 要 等 于 1， 所 以 
| W fx, .x, (i ,zz)dzidz = c(b, —a,) (by — az) = cL ([b, — a, ] X [b, — a, ]) 


fez E sZ) = 


(4-56) 
因此 常数 c= 1/( (b 一 ao)( 包 一 az)]。 勒 贝 格 测度 LC - Ah Y hFE — a, |X Lb, 一 az] 
定义 的 矩形 区 域 。 从 多 维 概率 密度 函数 得 到 X, 的 边缘 概率 密度 函数 为 : 


59 1 CC 
fx, Cay) — | Fax, Cti 9X2) dx, w aoe. Aw (x ) Tea, ,6,1 6X2) dre 


(4-57) 
X, 的 指示 函数 确定 了 积分 范围 ， 因 此 
1 
fx, (a1) = ba, ets] Kait (4-58) 
同 理 对 X; ; 
1 
fx, (x2) = by ale) (x) (4-59) 


由 于 Fx; si, (21922) = fx, (a) fx, (z2), 因此 随机 变量 是 独立 的 。 图 4-15 给 出 了 二 维 
均匀 分 布 的 概率 密度 函数 和 边缘 概率 密度 函数 。 注 意 ， 边 缘 概 率 密度 函数 不 是 简单 地 沿 着 
二 维 概率 密度 的 两 个 轴 “ 切 片 ”要 保证 每 个 都 具有 单位 面积 。 

4. 6.2 多 维 高 斯 分 布 

随机 向 量 XC RY 的 多 维 高 斯 概率 密度 为 : 

[exp(— (1/2)(x — py) Cox (x — pry) (4-60) 


d 1 
fx (x) = Cn) Gx |? [Cx 


其 中 会 [po se spy ls u, WX, WHW, Ca 二 EL(X 一 px)(X 一 jx)"] 是 一 个 协 方差 矩阵 ， 
E[，] 是 期 望 ( 详 见 第 5 SE), Co 是 它 的 逆 和 矩阵 (假设 它 是 奇异 的 )，| Ce | 是 行列 式 。 图 4-8 
给 出 了 N= 二 2( 随 机 变量 X 和 YY) 的 概率 密度 函数 。 相 应 的 二 维 高 斯 概率 密度 函数 经 常 写 成 
如 下 标量 形式 : 
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一 f ():a,=-1, b,=4 
==) fs Oa):a,=-3, b=1 


he x Xu2o) 
友 (00), 丰 人 0) 





p 





x, -5 -6 x, 
a) b) 
图 4-15 均匀 分 布 随机 变量 。a) 二 维 概率 密度 函数 (随机 变量 独立 ); b) 边缘 概率 密度 函数 
Cay. I? 
ae í ee A 
fx, x, Drt) = waqu VETA 2(1 二 ox, 


5 2pkz — py, ) (zç — px, ) z (z — py, y) 


(4-61) 
Ox, Ox, Ox, 
其 中 相关 系数 为 : 
Pp 会 EL(Xi 一 px ) (X; — py, ) ]/cx ox, (4-62) 
这 些 参 数 与 式 (4-60) 中 Cee 的 关系 是 : 
本 Ox, 
Pua ee j (4-63) 
pox Ox, GX: 





边缘 概率 密度 通过 对 fx,x, (zx ,zs) 积分 得 到 ， 与 4. 5 节 对 二 维 均匀 概率 密度 所 做 的 一 
样 。 为 了 使 大 家 更 容易 理解 推导 过 程 ， 考 虑 py 一 px —0 的 情况 。 为 符号 描述 方便 ， 令 


oi =ox, ~ 0 =ox, 。 则 





> = aba Sees — l (mz Paria, | xe 
Ja sui or A awa 0102 +3) jan 
1 xj 
=== ae = 1. (4-64) 
2xoios Vl o ( a) 
kë = 1 _ 2px 22 =; 
| se 人 Taw | 0102 +) ie 
其 中 不 包含 r 的 项 已 经 被 提取 出 来 。 配 平方 后 得 到 : 
1 xi 
dn (SU —_ k 
WSS Yno YP | aa =p) meet 
+ = hdi 1 Z: 一 OZ10z/al Ne ke 
K Teoh o: ) on J)a 
将 指数 里 面 最 右边 一 项 分 解 出 来 ， 得 到 : 
fx, (%1) = L exp(— i—p zi Ji 1 
i ie — 2 = OO 
J2not "gp e) Wi (4-66) 
T2 PX102/01 
exp[ Tap) mn) Jde 


积分 值 为 1， 因为 被 积 函 数 是 均值 为 pzt1o: /ol、 方 差 为 (1 一 pr doi 的 高 斯 分 布 概率 密度 
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函数 。 由 于 积分 项 外 的 指数 项 中 消去 了 (1 一 p>)， 最 终 得 到 边缘 概率 密度 函数 : 


fx, Ga) = — exp(— 23/264) (4-67) 


TO} 
对 式 (4-65) 关 于 zi 进行 积分 ， 可 得 到 对 fx, (xz; ) 类 似 的 结果 (当然 ， 如 果 知 道 二 维 高 
斯 概率 密度 函数 关于 z, 和 zz 是 对 称 的 ， 可 以 立刻 得 到 这 个 结果 ) 。 图 4-16 给 出 了 二 维 高 
斯 概率 密度 函数 的 例子 。 





fx, x (XD) 





a) b) 
图 4-16 py Syy, 0. ox, 二 1 条 件 下 二 维 高 斯 概率 密度 函数 。a) ok, 一 1、 
P 二 0( 随 机 变量 独立 ); b) ax, =2, p=—0.8 


当 N>1 时 ， 一 般 情 况 下 任何 低 阶 联合 高 斯 分 布 概率 密度 都 可 以 通过 只 保留 感 兴趣 的 
随机 变量 的 对 应 参数 获得 。 例 如 ， 如 果 原 来 的 联合 概率 密度 函数 有 三 个 变量 {Xi XD, 
Xs} ,而 我 们 感 兴趣 的 是 (X.X) 的 联合 概率 密度 函数 ， 只 需要 进行 如 干 改变 


X =|[| X, ,X; , Rsk =, LX eae (4-68) 
Hx 一 Lux "fx, tx, J Lex, * x, "ç (4-69) 
Ci Ce Cy Co Cx (4-70) 

Cx = Ca Cx Cz; > C. C 





Cr) ROE, N 的 次 数 由 3 变 成 2， 以 保证 提供 正确 的 归 一 化 使 得 低 阶 随机 向 
量 的 联合 概率 密度 函数 的 体积 为 1 。 
4.6.3 SEFER t 分 布 

具有 六 个 分 量 的 学 生 氏 : 分 布 的 多 维 概 率 密度 函数 为 : 


Aar VETER AEA + (x —p,)? CQ x pp) ry 2 (4-71) 
F | 


其 中 x>>0 RAE. Code by eM. HEM ARAN 1, METESZ RT E 
密度 函数 的 Cw 的 值 相 等 。 当 上 且 仅 当 所 有 随机 变量 有 单位 方差 时 ，Cw 和 Cx HIE, N=2 
时 ， 二 维 概率 密度 函数 为 ， 


PC(r+2)/2) ; ' 
fx. x, (tisz) = a FT IED 
CAME d ss (4-72) 
E Ppl ne Mae nk. YE Gee — py, Y aA 
这 种 扩展 形式 利用 了 : 
Ca = Ë 4 (4-73) 
pu 1 
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为 与 图 4-16 给 出 的 二 维 高 斯 分 布 概率 密度 函数 比较 ， 图 4-17 给 出 了 kx = 0. AE 
r=1 条 件 下 二 维 学 生 分 布 的 概率 密度 函数 。 观 察 发 现 ， 在 r 较 小 的 情况 下 ， 学 生 氏 t 分 布 
的 概率 密度 函数 比 对 应 的 高 斯 分 布 概 率 密度 函数 要 陡峭 (回想 一 下 ,第 3 章 学 过 当 roo 
时 ， 学 生 氏 分布 趋 近 于 标准 高 斯 概率 密度 函数 ) 。 








图 417 poy, Spy, =0, r=1 时 的 二 维 学 生 氏 :分布 概 率 密度 函数 。a) p 一 0( 随 机 变量 独立 );b) p 一 一 0.8 


4.6.4 多 项 分 布 

多 项 分 布 是 有 M 个 不 同 输出 的 二 项 分 布 的 扩展 。 有 M 个 随机 变量 {X,,… ,Xm), 不 同 
变量 出 现 的 概率 分 别 是 (p... pa) € [0,1], 满足 DT pn 二 1 对 NN 次 试验 , w >) X, =N 
时 ， 联 合 概率 质量 函数 为 ， 


M r M 
Px =. x Li sau] =N! |] Poi lin [| >>, | 
m=1 m=1 


Ea! 


M M 
-(, wan, Moet | 





(4-74) 


其 中 ， 





N já N! FCN 十 1) (4-75) 
| M 


— Tz! [r+ 
Jes £ 3, TOORMEKS. Hom PMP yy = Np... Fi ox, = Np,q. F 
中 dm 会 1 一 pp,。 随机 变量 总 是 负 相 关 : 


Pix =— V Pnb n Gaa (4-76) 
多 维 累 积分 布 函数 是 : 
zy ty) i g 
Pe 92% ZM (Zi MD 一 N! Dy- ep SS ee (4-77) 
i 


m=0 ny1=0 ni 1 [N — Donn) i 


只 需要 计算 M 一 1 个 和 ， 因 为 zw 由 式 (4-74) 中 的 指示 函数 确定 ， 也 就 是 zw 二 1 一 yx。 
图 4-18 给 出 了 M= 3( 仅 示 出 z, 和 xz;) 的 概率 质量 函数 的 例子 。 i 
46.5 多 维 超 几何 分 布 


多 维 超 几何 分 布 是 将 两 种 对 象 类 型 的 超 几 何 概率 质量 函数 扩展 到 LEN TRAM. SE 
有 NE 人 WN 个 对 象 不 变 ， 类 型 1 有 M 个 对 象 ， 类 型 2 有 M, PRR. KH. KE LA M 个 
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对 象 ， 则 2: M,= Ni 。( 对 于 超 几何 分 布 ，M 个 对 象 是 一 种 类 型 ，N 一 M 个 对 象 是 另 一 种 类 


型 .) 多 维 超 几 何 分 布 模型 为 抽取 后 不 放 回 ， 即 nx 三 N。 而 多 项 分 布 假设 抽取 后 放 回 ， 即 N 保 
持 不 变 。 因 此 ， 它 们 的 关系 与 超 几 何 和 二 项 分 布 随机 变量 类 似 。7 个 样本 的 多 维 概率 质量 函 
数 为 : 





a) 
图 4-18 M=3 的 多 项 分 布 概率 质量 函数 (只 给 出 了 z, ae). a) N=25, (bi yb r p i) = 
{0.4,0.4,0.2} ; b) N= 25.(bi ba bs) = 10.8,0.1,0.1) 


L 
px, x, [219% z, J = “(Ny E [> z. | io. Ca] TT Tio.) [zJ (4-78) 


其 中 指示 函数 指定 了 所 有 值 的 范围 。 第 m 个 随机 变量 的 均值 wx = 2M, /N, HÉ ok, = 
nM, (N 一 M,)(N 一 n)/N?(N 一 1)。 与 多 项 分 布 一 样 ， 随 机 变量 总 是 呈 负 相关 : 
oxx, =— /M,M,/(N — M,) CN — M,) (4-79) 
4-19 给 出 了 二 三 3( 仅 示 出 z, 和 xz) 的 概率 质量 函数 。 需 要 注意 的 是 ， 输 出 z, 不 能 超 
过 M,， 分 布 在 每 个 方向 上 比较 罕 ， 这 是 因为 n 和 NN 很 接近 ( 见 前 面 的 均值 和 方差 表达 式 )。 








a) b) 
图 4-19 L=3 的 多 维 概率 质量 函数 (只 给 出 了 z. z+), a) N==25,n==20,{Mi,M;,M;}= 
{5,15.5} y b) N= 25,= = 20,{M,.M..M;} = {18,5,2} 
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4.6.6 二 维 指数 分 布 


正如 前 面 提 到 的 ， 可 以 定义 随机 向 量 的 不 同 多 维 分 布 ， 它 是 单 变 量 情 况 下 的 一 个 扩 
展 。 例 如 ， 下 面 给 出 了 一 个 可 能 的 二 维 指数 分 布 的 概率 密度 函数 (Gumbel，1960) : 
Fix, .x, OX 3X2) =[ G ari)( + ar.) —a] 


(4-80) 
» exp(— (a, + z; + 0% 22) ) Too C21) Ia eo (re) 
参数 a E (0.1), HRD HABA : 
Fx. .x, (x1 522) =[1 + exp(— x, — z; — ari 22) (4-83) 





exp(— zı) — exp(x;) |Tro,sy (zi) Itoo) (za) 
从 上 式 可 以 得 出 边缘 累积 分 布 函数 为 ( 令 z 00, 22,09); 
Fx (ay) xD( zi) Fx, (a2) = 1 — exp(— zz) (4-82) 
这 些 都 是 参数 4 二 1 的 标准 指数 分 布 。 需 要 注意 的 是 ， 除 非 a 二 0， 否 则 随机 变量 不 独 
立 。 可 以 证 明 相 关系 数 为 : 


a C(l/a)exp(1/a) | i (1/v)exp(— v/a)dv (4-83) 
l 


由 a € [0,1], 得 出 p E€ [一 0.4037,0]。 
另 一 个 二 维 指 数 分 布 的 概率 密度 函数 为 : 
Fx, .x, (21 922) =[1+a(2exp(— x, ) — 1) (2exp(— x,) — 1)] ee 
© exp(— zí 22) Itoy (21) Iro) (x2) 
EA) AG RRON : 
Pex (x) 9X2) =(] aF exp(— Tı C1 a exp(— x; )) 
$ [1 + aexp(— Tı — zs ) Hio, o) (2, JIia ) (x) 
其 中 aE[ 一 1]，1]。 与 式 (4-82) 类 似 ， 边 缘 概 率 密度 函数 是 4 二 1 的 标准 指数 分 布 。 相 关系 
数 为 (见习 题 5-35) : 


(4-85) 


p=a/4 (4-86) 
pEL— 1/4, 1/4]. HHIH o=0 时 随机 变量 独立 。 有 趣 的 是 ， 虽 然 式 (4-80) 和 式 (4-84) 
具有 相同 的 边缘 概率 密度 函数 ， 但 是 相关 系数 有 很 大 的 不 同 。 图 4-20 给 出 了 a=1/2 时 的 
二 维 概率 密度 函数 。 有 可 能 存在 二 维 指数 概率 密度 函数 的 其 他 版 本 (见习 题 411)， 例 如 将 
另 一 簇 的 单 随 机 变量 扩展 为 多 维 分 布 。 





0.5 1 
a) b) 
图 4-20 a=1/2 时 的 二 维 指数 概率 密度 函数 。a) 式 (4-80) 中 的 分 布 ; b) 式 (4-84) 中 的 分 布 


4.7 产生 相关 随机 变量 





x, 


可 以 利用 [| fx, Coe) » 简单 地 生成 N 个 独立 边缘 概率 密度 函数 的 多 维 概率 密度 函数 
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fx(x)。 从 前 面 的 例子 可 以 看 出 ， 即 使 边缘 概率 密度 函数 服从 不 同 的 分 布 ， 同 样 也 可 以 通 
过 相 乘 得 到 联合 分 布 。 很 遗憾 ， 没 有 很 多 广泛 应 用 的 相关 随机 变量 的 多 维 分 布 ， 就 如 o BH 
确 时 二 维 高 斯 和 学 生 氏 t 分 布 的 情况 。 以 二 维 情况 CN=2) 为 例 ， 可 以 通过 下 面 的 方法 ， 引 
入 其 他 随机 量 的 相关 性 。 该 方法 不 产生 所 需 联 合 概率 密度 函数 的 闭合 表达 式 ， 而 是 计算 机 
模拟 样本 的 一 种 方法 : 

e HX = (X,.X.]' 表示 具有 二 维 标准 高 斯 分 布 概率 密度 孙 数 的 随机 向 量 ， 其 相关 系 
数 p 关 0。 注意， 对 于 二 维 标准 高 斯 分 布 的 概率 密度 函数 ， 均 值 为 0，Cxx =w. A 
(4-73) 定 义 的 矩阵 与 二 维 学 生 氏 1 分布 相 关 ; 不 同 于 Cxx， 它 的 主 对 角 线 的 元 素 值 为 
1。 随 机 变量 (X, Xe) 的 边缘 分 布 均 为 标准 高 斯 分 布 。 

e 对 每 个 随机 变量 做 概率 变换 Y,=Fx(X,)，? 王 1，2， 其 中 Fx(。) 为 标准 高 斯 随机 
变量 的 累积 分 布 函 数 。{Y,) 为 [0,1] 上 的 均匀 分 布 ( 见 定理 4-2)， 它 们 是 相关 的 ， 
因为 初始 的 {X,} 是 相关 的 。 

o 既然 随机 变量 服从 均匀 分 布 ， 并 且 都 可 以 通过 相应 累积 分 布 函数 的 送 ( 见 定理 4-3 和 
第 1 章 中 的 讨论 ) 转 化 成 一 个 新 的 随机 变量 。 因 此 ， 得 到 Z = F;'(Y,), n=l, 2, 
其 中 Fz'(，) 是 所 需 随 机 变量 的 逆 累 积分 布 函 数 (icdf)。 到 相关 {2,} 的 转换 不 需要 
是 一 se 
总 结 一 下 : 2) 服从 相关 系数 为 o 的 标准 二 维 高 斯 分 布 ， 通 过 下 式 得 到 变换 后 的 

随机 变量 eae 

Z, = FZ (Fx(X,)), n=1,2 (4-87) 
其 中 Fz(， ) 里 的 下 标 n 用 于 强调 到 每 个 Z, 的 映射 可 以 不 同 。 虽 然 该 方法 能 够 产生 任意 二 
维 概率 密度 函数 的 相关 随机 变量 ，2Z, 和 Z, 的 相关 性 与 相关 系数 为 p 的 二 维 高 斯 变量 X, 
X,) 的 线性 相关 性 不 同 ( 见 第 5 章 线性 关系 的 讨论 ) 。 

定理 4-2( 概 率 变 换 ) 设 连续 随机 变量 X 的 累积 分 布 函数 FEx(X) 是 严格 递增 的 ， 那 么 

随机 变量 Y 一 Fx(X) 服 从 [0,1] 上 的 均匀 分 布 。 

证 明 : 注意 ，Fx(X) 的 变量 是 随机 变量 X( 而 不 是 输出 z)。 因 此 ，Fx(X) 是 一 个 映 

射 ， 可 得 : 
P(Y < y) = p(Fx(X) < y) = P(X < Fy Cy)) (4-88) 
Rohi Fx:(Cy) 是 非常 明确 的 ， 因 为 Fx(。) 是 严格 递增 (一 一 对 应 ) 的 。 最 后 一 个 表达 式 
为 XX 的 累积 分 布 函数 ， 因 此 : 
P(Y < y) = Fx (Fx OD = ylpoaj(y) (4-89) 
其 中 的 指示 函数 用 于 强调 Fx(。) 的 范围 为 L0,1], 这 是 Y 的 范围 。 最 后 ，Y 的 概率 密度 也 
BA : 


fro) pF = I: ay Cy) (4-90) 


CE [0,1] 上 均匀 分 布 。 
证 明 过 程 中 使 用 的 由 变换 (映射 ) 来 计算 概率 密度 函数 的 方法 称 为 “累积 分 布 了 数 广 
;本章 后 面 讨论 随机 变量 变换 一 般 方法 时 将 用 到 该 知识 点 。 
EMAER SMARTLY 服从 [0,1] ERSATT, FERRE 
累积 分 布 函数 。 那 么 随机 变量 Z= Fx'(Y)6) K 2 BAA Fez), 
证 明 : 由 定理 4-2 得 : 


P(Z < >) = p(Fz1 (Y) < z) = PY < Fy(2)) = Fy (Fz(z)) (4-91) 
由 于 Fy(y)= yl, i (y);&— X: T B 3FHBLBUZETEPS 3, RAHA: 
P(Z < z) = Fz(2) Moy (Fz(2)) = Fz(z) (4-92) 


由 定义 知道 Fz(z) 的 范围 是 [0,1]; 因此 指示 函数 可 以 去 掉 。 
前 面 定 理 中 ， 要 求 累积 分 布 函数 为 严格 递增 的 ， 得 到 了 相对 简单 的 变换 结果 。 对 一 般 
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情况 下 的 累积 分 布 函数 的 变换 结果 ， 需 要 做 更 多 的 工作 ，4. 8 节 将 研究 这 部 分 内 容 。 

图 4-21a 给 出 了 二 维 高 斯 分 布 的 100 000 个 样本 的 直方 图 ， 其 均值 向 量 jx 二 0， 
ha HEA 
(4-93) 





图 4-21 二 维 随机 变量 的 直方 图 。a) p=—0.75 的 二 维 高 斯 分 布 ; b) 利用 概率 变 
换 得 到 二 维 均匀 分 布 ; c) 利用 逆 概 率 变换 得 到 二 维 指数 分 布 


相关 系数 6 一 一 0.75。 利 用 MATLAB 中 的 mvnrand( 它 是 randn 的 多 维 版 本 ) 函 数 生 成 数 
据 。 负 相关 系数 使 得 分 布 集中 在 z. = x 轴线 上 。 图 4-21b 给 出 了 (XX) 分 别 使 用 上 
面 的 概率 变换 技术 时 ， 得 到 的 二 维 均匀 分 布 结果 。( 注 意 ， 由 于 变量 是 相关 的 ， 因 此 对 应 
的 分 布 在 其 范围 内 不 是 均匀 平坦 的 。) 随 机 变量 (Y ,Y,) 也 负 相 关 。 图 4-21c 给 出 了 对 每 个 
均匀 分 布 随机 变量 ， 利 用 参数 一 0.5 的 指数 随机 变量 的 逆 累 积分 布 函数 ， 进 行 逆 概率 变 
换 得 到 的 二 维 分 布 。 概 率 pp 的 逆 票 积分 布 函 数 为 


z =— (1/A)ln(1— p) (4-94) 
得 到 指数 随机 变量 (Z Zo 它们 也 是 负 相 关 的 。 利 用 corrcoef 由 样本 估计 随机 向 量 X. 
Y、 江 的 相关 系数 ， 分 别 为 6 一 一 0.7471， 一 0.7325， 一 0. 5162, < 
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第 3 章 中 讨论 了 随机 变量 很 多 重要 的 应 用 。 很 多 情况 下 ， 由 于 一 些 物理 机 制 ( 如 一 个 
通信 信道 ) 或 为 了 产生 具有 更 多 有 用 特性 的 随机 变量 ,会 对 它们 的 概率 密度 函数 进行 一 定 
的 变换 。 我 们 考虑 以 下 三 种 基本 形式 的 变换 : 

e 一 个 随机 变量 是 男 一 个 随机 变量 的 函数 Y 二 g(X)， 其 中 映射 5(。) 已 知 且 确定 。 

© 利用 不 同 函 数 {g,(，)}) 将 几 个 随机 变量 映射 成 男 一 个 随机 变量 集 。 


e 代表 随机 过 程 的 一 组 按时 间 索 引 的 随机 变量 集 经 过 滤波 系统 后 ， 生 成 了 修正 的 随机 过 程 。 


通常 情况 下 ， 我 们 感 兴 趣 的 是 随机 变量 的 概率 密度 函数 在 这 些 变 换 后 是 如 何 改变 的 。 


第 8 章 中 研究 系统 作用 于 随机 过 程 时 将 讨论 第 三 种 变换 ， 还 将 讨论 滤波 对 相关 性 的 影响 。 
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本 节 主 要 讨论 第 一 种 形式 ， 即 单个 随机 变量 的 变换 : 
Y = g(X) (4-95) 
其 中 g(。) 是 一 个 无 记忆 的 映射 。 至 于 第 二 种 形式 ， 本 章 稍 后 将 讨论 多 个 随机 变量 的 特殊 
映射 。 
方便 起 见 ， 分 别 考虑 离散 、 连 续 随机 变量 。 由 于 离散 随机 变量 的 概率 质量 函数 与 事件 
概率 直接 相关 ， 所 以 离散 随机 变量 的 变换 是 明确 的 。 对 于 连续 随机 变量 ,需要 利用 微 积分 
知识 来 计算 变换 后 的 情况 。 除 了 随机 变量 类 型 以 外 ， 孔 数 的 形式 也 很 重要 。 特 别 是 ， 需 要 
知道 函数 是 否 单调 。 
定义 (单调 函数 ) 如 果 当 x 三 y 时 ， 有 g(r) 三 g(y)， 那 么 函数 y 二 g(x) 是 单调 递增 
的 。 如 果 当 ry, BA g(x) 宇 g(y)， 那 么 函数 是 单调 递减 的 。 对 于 严格 不 等 式 g< 
gly) fe g(x) gly), BRKAP REAM. 
如 果 函 数 是 平坦 的 (微分 是 零 )， A CT WE A BI — A, P#Z46 E E R 
数 也 称 为 一 对 一 映射 。 
4.8.1 离散 随机 变量 的 变换 
下 面 的 变换 结果 适用 于 有 限 或 可 数 无 限 的 随机 变量 : 
e 一 对 一 (严格 单调 )g(X)。 观 察 到 映射 的 概率 可 以 改写 为 如 下 形式 : 
P(Y = y) = P(g(X) = y) = P(z = g’ (y)) 
KH, zg (y). Ej 4-22 
(使 用 概率 密度 函数 和 离散 随 
机 变量 的 狄 拉克 6 函数 ) 给 出 ; 
了 一 对 一 映射 的 一 个 简单 例 人 


子 。XX 值 的 概率 传递 到 对 应 的 ”7 ; ; 
Y 值 。 因 为 函数 是 一 对 一 的 ， 1⁄2 
所 以 Y 和 X 的 输出 数目 要 相 

2 4 


同 并 且 相 对 概率 不 变 。 这 种 类 y | 


F-----------------1------ 





型 的 映射 本 质 上 是 对 不 同 输出 f(x) a 

的 概率 重 置 。 in 

一 个 函数 通过 定义 可 以 将 其 自 
变量 映射 到 单个 点 ， 但 是 这 对 逆 象 x 
通常 不 成 立 。 对 一 个 具有 平坦 区 域 fl 4-22 离散 随机 变量 一 对 一 变换 的 概率 映射 


的 单调 函数 而 言 ， 它 是 多 对 一 的 映射 。 

e 单调 g(X)。 该 函数 沿 z 轴 在 平坦 区 域内 被 分 成 多 段 ， 并 且 是 一 对 一 区 域 。 像 上 面 说 
的 那样 ， 严 格 单调 区 域 分 别处 理 ， 将 每 个 z 的 概率 映射 到 对 应 的 y 值 。 在 恒定 值 区 
域 ,映射 到 y 的 所 有 工 值 的 累积 概率 质量 即 是 特定 y 的 概率 。 即 使 是 非 单调 函数 ， 这 
个 结果 也 是 正确 的 ， 但 我 们 必须 仔细 考虑 映射 到 同一 个 y 的 所 有 工区 域 ， 下 面 将 介绍 
这 一 点 。 aa 

e 任意 g(X)。 假 设 N 个 不 同 工 值 映射 到 同一 个 y 值 。 由 于 和 是 离散 的 并 且 z 值 不 同 ( 互 
斥 )， 因 此 总 是 可 以 将 概率 写成 X 值 集合 的 形式 : 


N 
=>) P(X = O) 
1 


其 中 g-'(y) 的 下 标 表示 映射 到 同一 y 值 的 不 同 z 值 。N 不 需要 是 有 限 的 ,结果 可 
以 包括 映射 到 相同 的 y 值 的 可 数 的 无 穷 多 个 z 值 。 我 们 只 需要 跟踪 到 所 有 的 z 值 ， 
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从 而 对 应 的 累积 概率 质量 被 赋予 正确 的 y 值 。 图 4-23 给 出 了 一 个 有 限 随 机 变量 的 非 
单调 的 例子 。 

UERJ X 是 一 个 参数 为 户 的 几何 分 布 
随机 变量 ， 假 设 映射 &(X) 一 x(X 一 3)( 移 位 
的 单位 阶 跃 函 数 )。 因 此 , 义 = 二 {0,1,2) 映射 
a) Y=0, X>3 映射 到 Y=1。 显 然 了 是 一 
个 伯 努 利 随 机 变量 : 

P(Y = 0)= pip —3p+ 3), 

P(Y = 1)= 1— p —3p+3) (4-97) 
其 中 最 后 一 项 是 成 功 概率 。 < h ae 
4.8.2 连续 随机 变量 的 变换 图 4-23 “离散 变量 多 对 一 变换 的 概率 映射 

对 于 连续 随机 变量 ， 首 先 考 虑 一 对 一 映射 ， 然 后 将 结果 推广 到 任意 函数 。 导 数 为 零 的 区 
域 必 须 用 不 同 的 方法 处 理 。 处 理 式 (4-95) 的 变换 有 四 种 方法 ， 分 别 是 :iD 概率 密度 函数 或 直 
接 方法 ; (站 累积 分 布 函 数 或 间接 方法 ; ( 放 )6 函数 法 ; (iv) 指示 函数 法 。 

e 一 对 一 5(CX) 的 间接 法 。 虽 然 这 种 情况 与 离散 随机 变量 类 似 ， 但 我 们 不 能 从 PO = 

y) 开 始 ， 因 为 对 于 连续 随机 变量 它 等 于 零 。 我 们 会 利用 累积 分 布 函 数 FY (y)， 分 别 
考虑 严格 递增 函数 和 严格 递减 函数 。 首 先 ， 假设 g(X) 严 格 递增 ,这样 可 以 写成 : 
Fy(y) = PY < y) = P(g(X) < y) = P(X < g !(y)) = Fx(g `(y)) 
(4-98) 
其 中 每 个 y Hite (0(y) 是 唯一 的 ， 因 为 函数 是 一 对 一 的 。 相 应 的 概率 密度 函数 
通过 对 上 式 进 行 微分 获得 : 
fetyy = Fro) a SFx Cg O) = FRETO) = Aig a T (4-99) 


其 中 利用 了 链 式 法 则 并 且 代 入 了 =g ' y). 
对 于 严格 递减 函数 ， 式 (4-98) 的 倒数 第 二 个 式 子 变 为 : 
Fy(y) = P(X > g'(y)) = 1—Fx(g'!(y)) (4-100) 
不 等 号 方向 改变 。 这 一 点 可 以 从 图 4-24 所 示 的 均匀 分 布 的 例子 看 出 。 





1⁄3 p 
WMA 


ai Ge ex 
图 4-24 严格 递减 函数 对 应 的 连续 随机 变量 的 映射 。 从 阴影 区 域 可 以 看 出 PCY<—2)= 
P(X 宇 1)， 这 是 因为 映射 将 概率 密度 函数 进行 了 翻转 


对 式 (4-100) 进 行 微分 ， 得 到 .: 
dx 


fy (y) =— fx(g '(y)) dy (4-101) 


除了 符号 相反 外 ， 结 果 与 式 (4-99) 相 同 。 然 而 ， 由 于 微分 dz/dy 在 严格 递减 函数 条 件 下 为 
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fr) = RODE (4-102) 


式 (4-101) 也 包含 了 式 (4-99) 的 情况 ， 因 此 适用 于 任何 一 对 一 映射 。 最 后 ， 由 于 y 二 g(x) 的 
微分 更 容易 计算 ,通常 使 用 下 式 : 


fry) = | 


其 中 g'(z) 是 函数 关于 > 的 微分 。 
上 面 的 间接 方法 也 可 以 用 于 任意 隆 数 ,但 使 用 下 面 的 直接 方法 会 更 加 简单 。 
e 任意 g(X) 的 直接 方法 。 假设 任何 区 域 中 函数 的 导数 都 不 为 0。 得 到 类 似 式 (4-103) 
的 变化 形式 ， 当 g'(z)=0 时 不 能 直接 计算 。 稍 后 讨论 函数 为 定 值 的 情况 。 

图 4-25 给 出 了 非 单调 函数 的 例子 ， 从 图 中 可 以 看 出 ， 每 个 y 的 值 对 应 两 个 不 同 的 xz 值 
(BRT z==0 处 )。 尽 管 我 们 分 析 的 是 简单 的 均匀 分 布 随 机 变量 ,但 是 可 以 很 容易 将 结果 推广 
BM x 2 y 的 任意 数目 (包括 可 数 无 限 ) 映 射 区 间 。 从 小 区 间 Ly,y 十 dy] 上 y 的 概率 开始 : 

Ply € [y,y+ dy]) =P(<x € [zi ,z, + dx, ] U z € [zx; ,z; + dz, J) 
=P(x € Lz sxi + dz, ]) + Pla € [rss + dz; J) 


fx z) 








z=g (y) 


(4-104) 





Q. ít an x 


图 4-25 连续 随机 变量 的 非 单调 函数 映射 。 两 个 阴影 区 域 标 出 了 映射 到 同一 Y 值 
的 X 区 间 ( 多 对 一 函数 ) 


由 于 区 间 选 择 时 保证 了 不 相交 ， 所 以 第 二 个 等 式 成 立 。 这 些 概率 可 以 通过 下 列 抢 形 面 积 近似 : 
fxy(y)|dyl=z fx (ay) | day | 十 产 Cz)|dzs | (4-105) 
其 中 ， 区 间 要 足够 小 以 保证 | dz | |dr | 会 | dr|。 在 微分 学 里 , {zi ,zs,y) 可 能 是 不 同 区 间 的 
中 心 点 ， 但 这 并 不 重要 ， 因 为 每 个 区 间 的 大 小 最 终 将 趋 于 零 。 绝 对 值 | dx, | 确保 式 (4-104) 中 
的 dzi, dx, 为 负 值 情况 下 (当然 ， 概 率 密度 函数 总 是 非 负 的 )， BRAE. 最 后 ， 将 这 个 
结果 除 以 dy， 代 和 信道 象 x 二 g“'(y), 将 
此 方法 扩展 到 函数 的 N 个 不 同 区 间 ， 
得 到 : 


r ada 
x n 1 
Fe = 27 Tae Tl O 





(4-106) P 


其 中 ，g, (xz) 的 下 标 表示 对 应 z, 的 函数 


的 第 n 个 区 域 。 
从 图 4-26 所 示 的 例子 可 以 看 出 ， 函 一 对 一 | 多 对 一 k= 


数 g(z) 的 区 域 数目 很 容易 确定 。 绘 制 通 图 4-26 X 到 YY 映射 的 非 单调 函数 的 区 间 
过 函数 的 水 平 线 可 以 确定 在 多 个 y 值 中 ， 由 与 g(x) 相 交 的 水 平 线 确定 





第 4 章 多 维 随机 变量 


究竟 在 什么 地 方 它们 与 y= 二 gC(X) 相 交 。 在 这 个 例子 中 ， 有 三 个 不 同 的 区 域 : (D (z,.oo) 一 对 
一 映射 到 (y, 400), (iD (一 co0,xzij 一 对 一 映射 到 (一 oo,yj], Ci) Cary ,zj 的 三 个 子 区 域 映射 到 
相同 的 (yi oye] 区 间 。 图 中 的 这 些 子 区 域 分 别 为 {(zi sa], Ctr], (35.2, ]} GER. AAR 
定 g(X) 连 续 ， 所 以 哪个 区 间 的 终点 闭合 并 不 重要 )。 由 于 每 个 子 区 域 的 函数 形状 不 同 ( 这 不 
是 必要 条 件 )， 所 以 式 (4-106) 的 g 0(。) 有 个 下 标 。 通 过 水 平 线 可 以 容易 地 看 出 函数 从 递增 变 
为 递减 的 位 置 ， 反 之 亦 然 ， 并 且 可 以 看 出 哪里 有 多 对 一 映射 。 

绘制 通过 函数 的 水 平 线 相当 于 找到 不 同 y 值 下 g(x) 一 y= 二 0 WR. HM. y= g(a) = 
zl, HFR xz? 一 y 一 1 二 0 的 根 ， 结 果 为 zx 三 士 Vy 十 1。 两 个 工 值 映 射 到 相同 的 y 值 
(y=0 除外 ) ， 这 种 情况 王 式 (4-106) 的 N= 二 2。 因 此 一 般 情 况 下 ， 将 式 (4-106) 变 成 下 面 的 
简化 形式 : 


nd 
= x(a, s 
fro) SATIR (4-107) 
(x, ) 38 g(z)—y=0 的 根 , n= 1, N. 


设 卫 是 参数 为 {1 二 0，a} 的 拉 普 拉 斯 随机 变量 ,考虑 映射 了 ”一 X ， 也 就 是 
N=2, HF g'(z=)=2x, PV 





F kL UNE 二 E 
fy (y) 2.2 E TP |=, | /a) (4-108) 
值 域 为 及 * 。g(zZ) 一 y 一 0 HRA t= tvy., Hk 


fr = [exp( 一 |Vy|/a) + exp(— |— /y|/a)] 
4a Jy 


1 
(= ) Itoy Cy) 
La Vy/a) Iro, (y 
其 中 ， 最 终结 果 里 忽略 了 绝对 值 。 图 4-27 给 出 了 a=1 的 概率 密度 函数 ， 因 为 Vy 在 分 母 中 ， 所 
以 概率 密度 函数 (虚线 ) 在 原点 处 增 大 到 无 穷 大 。 其 根本 原因 在 于 g (zx) 在 zz 二 0 处 趋 近 于 零 。( 通 

过 高 斯 随机 变量 的 平方 获得 的 自由 度 为 1 的 卡 方 随机 变量 ,在 原点 有 相似 的 渐 近 行为 。) 
1 


osl 一 一 拉 普 拉 斯 概率 密度 函数 | 
~ 变换 后 的 概率 密度 函数 |- 





(4-109) 








图 4-27 例 4-10 的 概率 密度 范 线 。 对 于 拉 普 拉 斯 概率 密度 函数 ，a 一 1， 变换 Y 一 和 < 


对 于 任意 的 函数 ， 很 难 利用 间接 (累积 分 布 函数 ) 的 方法 ， 因 为 跟踪 映射 到 相同 的 > 值 
的 所 有 不 同 z 轴 区 域 是 比较 繁琐 的 。 然 而 ， 对 于 相对 简单 的 函数 它 却 很 有 用 ， 比 如 例 4-11 
中 的 函数 。 
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GEID 对 于 交换 YX:， 我们 考察 下 面 的 概率 : 
PY < y) = P(X’ < y) = P(— /y < X < /y) (4-110) 
写成 X 0 R 2 m 3k N. 


Fy(y) = Fx(/y) — Fx (— Vy) (4-111) 
将 上 式 对 y 微分 ， 得 到 通用 结果 : 
fy(y) = alla + fD] (4-112) 


代入 拉 普 拉 斯 随机 变量 的 概率 密度 函数 得 到 例 4-10 tE HY R (4-109), 

e 有 平坦 区 间 的 函数 。 接 下 来 ,我 们 介绍 当 函 数 有 一 个 或 多 个 区 间 的 导数 为 0 时 ， fa 
何 处 理 变换 。 图 4-28 给 出 了 函数 有 一 个 上 述 情 况 的 例子 。 观 察 发 现 该 函数 可 以 被 划 
分 成 多 个 区 间 :( i) 严格 递增 或 严格 递减 的 区 域 ，( ii )g'(x) 二 0 的 平坦 区 域 。 第 一 
种 情况 对 应 的 区 域 由 式 (4-106) 进 行 处 理 。 接 下 来 考虑 图 4-28 中 [zs ,zs] 对 应 的 平 
坦 区 域 ( 浅 色 阴 影 表 示 )， 观 察 发 现 : 


PCY = y) = BX € [2 z = | fx(x) dz &Py(y) (4-113) 


由 于 zs 之 zz， 所 以 上 式 不 为 0。 fx(z) 下 的 面积 为 POY = y) 的 概率 ， 我 们 用 速 
记 符号 Py(y)( 它 不 是 pyLyj 的 概率 质量 函数 ) 表 示 。 将 这 个 结果 与 式 (4-106) 结 合 ， 
得 到 Y 的 混合 概率 密度 函数 ,假设 有 M 个 平坦 区 域 : 








N M 
fy(y) = by Gen 了 sik >) Py (ym SCY — Ym) (4-114) 
n=1 “机 La Eu (O) m=] 
其 中 ó( y) E jk hi ya ó PAR. 注 ee ae | EEE we y= 


意 ,图 4-28 中 略 小 于 ys 的 一 条 横 a 
线 ， EKE x E Llr sr] U [z; ,z,] , t 
与 g(x) 相 交 三 次 ， 这 些 区 间 映 射 到 
Ly „yzl 区 间 Lay sxs | 一 对 一 映射 
到 Cy. 1316 由 于 Lay sz] 以 外 的 均 
匀 分 布 的 概率 密度 函数 为 零 ， 因 此 
对 此 变换 没有 必要 考虑 其 他 区 域 。 一 于 一 一 一 一 

函数 在 只 有 平坦 区 域 ( 如 阶梯 函数 ) 的 多 对 一 平坦 区 域 = 
极端 情况 下 ， 变 成 从 连续 随机 变量 到 纯粹 


的 高 散 随 机 变量 的 陵 射 可 以 通过 指示 衣 — [mas 








数 表示 多 个 平坦 区 域 ， 本 章 稍 后 再 讨论 这 aya, wa R 
种 映射 。 成 6 函数 Matte 
| D 设 久 是 参数 为 * 的 指数 随机 图 4-28 有 一 个 平坦 区 域 的 非 单调 函数 的 例子 z€ 
EE. CBT. e gm 映射 到 y= y 处 
Š 


0, txo 
oo -| 0< X<1 

25 x 
(4-115) 
产生 了 混合 随机 变量 。 对 线性 区 域 邓 用 间接 法 ， 当 和 EL[Lo,1] 时 ，Y=g(X) 的 栋 积 分 布 函 

BHA: 
Fy(y) = P(2X < y) = P(X < y/2) = Fyx(y/2) (4-116) 
对 上 式 关 于 y 进行 微分 ， 得 到 :; 
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第 Fx(y/2) = (1/2) fx (y/2) = Q/2)exp(— ay/2) Ito. (y) (4-117) 
这 里 采用 指示 函数 说 明 fy(y) 的 连续 部 分 。 离 散 部 分 通过 下 式 获得 : 

PY =2) = P(X >1) = af exp(—Ar)dx = exp(—A) (4-118) 
Aik, Y 的 整体 概率 密度 函数 为 : 

fy(y) = (A/2)exp(— Ay/2) Iro. (y) 十 exp( 一 1)8Cy 一 2) (4-119) 


它 直 接 表明 这 个 概率 密度 函数 具有 单位 面积 。 图 4-29 给 出 了 变换 和 两 个 随机 变量 的 概率 密 
度 函 数 。 


2.5 







一 一 指数 概率 密度 函数 
~ ~ 变换 后 的 概率 密度 函 









EE 


0 0.5 1 1.5 2 2.5 
XY 


图 4-29 fJ 4-12 中 随机 变量 变换 的 概率 密度 函数 ,其 中 XX 服从 X==1 的 指数 分 布 司 


o 任意 8(X) 的 9 函数 法 。 当 连续 函数 是 平滑 函数 g(x)( 见 附录 B) 的 组 合 时 ， 有 可 能 
利用 下 面 的 狄 拉 殉 8 函数 的 性 质 改善 对 连续 函数 的 变换 过 程 : 





je) = >; TOG (4-120) 
其 中 {zx,} 是 g(a) =0 的 根 。 我 们 用 下 面 的 例子 证 明 这 个 性 质 。 
ARN: 
g(z) = z —4r F3 = (2—1)(2—3) (4-121) 


其 中 g'(z)=2zr—4, g(z)=0 HRA 2. =1 和 zs 二 3， 因 此 g'(1)=—2, g'(3)=2, AR 
式 (4-120)， 得 出 : 
elr — 3x + 2) 一 (172)L8Cz 一 3) 一 SCzx 一 1)] i (4-122) 
因为 SCz) 仅 当 >z=0 时 是 非 零 的 ， 所 以 我 们 感 兴趣 的 是 式 (4-120) 中 人 函数 的 自 变 量 
g(z)=0 的 根 。 在 例 4-13 中 ，g(z) 有 两 个 根 ， 因 此 65 函数 位 于 x 二 1 和 3 处 。 利 用 微 积分 
学 ， 当 变量 变 成 单调 函数 g(x) 时 ， 积 分 区 间 有 如 下 改变 ; 


b (b) 
fhea lgitx) doe f ESTE (4-123) 
a gla) 


回顾 狄 拉克 8 函数 的 积分 特点 ， 利 用 以 上 的 结果 ， 代 入 a=—co, b=co, h(z=)= 
òlr), 得 到 ; 


| Satai ta Nda =|" d(x) dz (4-124) 
重新 整理 被 积 函 数 ， 得 到 : 


Bik a ma (4-125) 
lg (x) | 
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式 (4-120) 是 非 单 调 函数 g(x) 二 0 有 NN 个 根 时 ， 式 (4-125) 的 一 个 扩展 。 < 
比较 式 (4-120) 和 式 (4-106)， 式 (4-106) 用 于 确定 Y= 二 g(X) 的 概率 密度 函数 ， 我们 认 
识 到 了 它们 的 相似 性 。 事 实 上 ， 利 用 狄 拉克 6 函数 筛选 特性 : 
| cosco = | fi) A ae 2 F (4-126) 
其 中 {z,} 是 g(Cz) 王 0 的 根 。 为 了 获得 变换 后 的 fy(y)， 像 式 (4- 107) 后 面 讨论 仓 的 那样 ， 
必须 是 g(x) —y= 0 的 根 。 因 此 ， 我 们 可 以 将 式 (4- 人 r: 
到 最 终 的 结果 : 








ful) 一 | Da — y)dz (4-127) 


由 于 g(z) 一 y 王 0 的 根 由 y 值 确定 ， 所 以 等 号 右边 是 一 个 关于 y 的 函数 ， 式 (4-107) 中 
初始 表达 式 就 是 这 种 情况 。 

这 种 方法 的 优点 是 将 式 (4-120) 做 如 下 修改 后 代替 了 式 (4-106) ， 

(yt = = SÓ Imay (4-128) 

其 中 {zx} 是 g(z)—y=0 的 根 ( 不 是 g(z)=0), BO 函数 之 和 代入 式 (4-127)， 再 利用 6 K 
数 的 筛选 特性 ， 得 到 fy(y)， 结 果 与 式 (4-106) 相 同 。5 函数 方法 的 优点 在 分 析 两 个 或 多 个 
随机 变量 的 变换 时 ， 将 变 得 更 加 明显 。 

对 于 变换 





Y = X?—4X+2 (4-129) 
g(z) —y=z° —4z+2—y=0 的 根 为 z 二 2 士 V2 十 y， 从 中 得 出 了 的 取 值 范围 是 [一 2，oo)。 
由 于 





g(a) =2 /2+ y, g(a.) 一 一 2 V2 十 y (4-130) 
Y 的 概率 密度 函数 为 : 
] : 
Cy) = Cfx(2+ /2+ y) + fx (2 — V2 十 y) (4-131) 
fy y 2 Wampu fx y fx y ] 


图 4-30 给 出 了 和 为 标准 高 斯 随机 变量 时 的 fy(y)。 


5 





图 4-30 例 4-14 中 随机 变量 变换 的 概率 密度 函数 ， 其 中 XX 服从 标准 高 斯 分 布 < 


e 指示 函数 法 。 许 多 应 用 会 将 连续 信号 变换 为 严格 离散 的 幅度 信号 。 例 如 ， 在 数字 通 
信 中 ， 用 符号 函数 做 决策 器 将 一 个 连续 的 波形 变 为 两 个 值 : 士 1。 同 样 ， 单 位 阶 牙 
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函数 可 将 一 个 连续 的 波形 映射 为 {0,1} 。 第 5 章 将 介绍 如 何 利用 阶梯 函数 集 生成 的 

离散 随机 变量 序列 来 近似 连续 随机 变量 。 

H a<b 条 件 下 的 指示 函数 anlar) 
用 于 变换 是 比较 方便 的 ， 将 它 的 自 变量 用 
随机 变量 X 取代 : 

Ve Jn aX) (4-132) 
连续 随机 变量 X( 具 有 任意 概率 密度 
函数 ) 的 映射 产生 了 输出 为 (0.1) WAS ` 
利 随机 变量 Y。 为 了 得 到 fe). RNA 
需 确定 映射 到 0 的 X 的 概率 密度 图 数 下 
的 面积 ， 剩 下 的 区 域 必 然 映 射 到 1。 符 号 

函数 是 男 一 种 将 连续 随机 变量 映射 成 离散 < 
随机 变量 的 方法 。 图 4-31 显示 了 下 面 的 -1 Te =i 8 x 





映射 : 图 4-31 连续 随机 变量 到 离散 随机 变量 的 映射 。 正 负 
Y = sgn( X) (4-133) 区 间 fx (zx) 下 的 面积 映射 成 fy Cy) AY 8 函数 
其 中 X 有 均匀 概率 密度 函数 。 


回 到 指示 函数 ， 并 假设 Y 的 输出 为 {041} 9 fy(y) 的 推导 过 程 如 下 : 
PCY = AP a (Ky = D = Pla SK < #5 
=Fx(b) — Fx(a) = p (4-134) 
P(Y = 0) = PU (X) = 0) =1 — P(a < X < b) 
=1—[Fx(6)—Fx(a)]=1—p4q (4-135) 
其 中 p 是 伯 努 利 概 率 密度 函数 的 成 功 概率 。 这 个 结果 具有 普遍 性 ， 可 以 用 来 表示 从 连续 到 
离散 随机 变量 的 一 类 变换 。 例 如 ， 令 [a,b] = [0,co), 指示 函数 和 上 面 的 表达 式 可 以 用 来 
实现 单位 阶 跃 函数 。 对 于 符号 函数 ， 区 间 也 是 [a,b] = [0,00), 但 式 (4-135) 中 的 结果 由 0 
变 为 一 1。 对 于 所 有 概率 密度 函数 关于 原点 对 称 的 随机 变量 X， 由 此 产生 的 对 称 伯 努 利 随 
机 变量 Y 必然 具有 等 概率 的 输出 : p=q=1/2. 
GEED 如 前 所 述 ， 数 字 通信 中 常 使 用 符号 函数 来 检测 离散 时 刻 传输 的 是 1 还 是 一 1。 
具有 加 性 噪声 的 系统 的 简化 框图 如 图 4-32 w 
所 示 。 假 设 符号 为 土 1 的 信号 每 工 秒 随机 传 
送 一 次 ， 各 离散 时 刻 对 应 一 个 对 称 的 伯 努 利 xX 
随机 变量 。 假 定 加 性 噪声 W 是 参数 为 {1 二 ERD 接收 的 
0，c)} 的 高 斯 随机 变量 。 虽 然 X 是 一 个 离散 ”符号 函数 符号 
随机 变量 ,但 接收 信号 Y 是 连续 的 ， 并 且 由 图 4-32 二 值 通 信 系统 的 简化 框图 
于 加 性 噪声 的 存在 ， 它 可 以 是 尼 中 的 任意 值 。 在 随后 的 一 节 中 可 以 得 出 ,当头 和 WW 相互 独 
it, Y=X+W 的 概率 密度 函数 由 以 下 卷 积 得 到 : 


fro) = | xG) fry —vddo (4-136) 


由 于 fx(zx) 是 一 个 离散 随机 变量 ， 它 的 概率 密度 函数 是 狄 拉 克 6 函数 ， 因 此 卷 积 很 容 
易 计 算 : 


fr(y) = | aD- 1) ++] 








传输 的 符号 
函数 的 估计 


1 
2no° 





exp(— (y — v)?/20")du 





1 1 
diry ee = 7 + exp (y+ D: 299) | 
sd =: V 2x0" 


这 里 利用 了 狄 拉 克 人 函数 的 第 选 特性 。 这 个 结果 是 两 个 条 件 高 斯 概率 密度 函数 的 和 ， 一 个 
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中 点 为 1， 另 一 个 中 点 为 一 1。 了 的 概率 密度 函数 和 两 个 条 件 概率 密度 函数 如 图 4-33 所 示 。 
通过 提取 式 (4-137) 的 公共 指数 项 ， 结 果 可 写 为 包含 双 曲 余弦 函数 的 乘积 形式 : 








fy (y) = -exp(— Cy? + 1)/20 )Lexp(— y/o) + exp(y/o’) | 
pi (4-138) 
= exp(— (y? + 1)/2o° )cosh(y/o ) 
J 2x0 

g’ 

D 

= 

= 

> o. 

us 

s y 





图 4-33 fj 4-15 中 二 值 通 信 系 统 的 接收 信和 号 随机 变量 Y 的 双 峰 概率 密度 函数 以 及 
条 件 概率 密度 函数 fy | (| 一 D、 记 |xCy| 十 D) 


在 z===+1 处 有 两 个 峰 。 符 号 函数 检测 器 通过 以 下 方法 “决定 ”传输 哪个 符号 

K = sgn(Y) (4-139) 
其 中 发 表示 的 估计 (我 们 任意 假定 Y 王 0 8 X=1), AARETE, 4⁄3 y HERE 
i, PCX=1)=P(X=—-1=1/2. RHF RRPRREKEBH XH. WRX=-1R 
送 时 ， 品 声 值 超过 1， 符号 函数 检测 器 会 错误 地 认为 1 在 传输 。 在 给 定 条 件 概率 P(K=1| 
X 一 一 1) 王 P( 人 = 一 1|X=1) 后 ， 错 误 概 率 是 衡量 接收 器 性 能 的 指标 。 第 10 章 将 介绍 这 些 





概率 取决 于 W 的 方差 : 较 大 的 噪声 方差 将 产生 更 大 的 错误 概率 。 < 
使 用 指示 函数 的 变换 方法 可 以 概括 如 下 : 
M 
Y= diyu 0X) (4-140) 


其 中 区 间 [as 如] 表示 X 的 取 值 范围 ， 则 g(X) 映 射 到 y,。 相 应 的 概率 为 ， 

PY = yn) = Plan LX L ba) = |` fr Cds BP Gyn) AAD 
书写 方式 与 前 面 混合 随机 变量 变换 的 相同 。 因 此 ，Y 的 概率 密度 函数 由 式 (4-114) 的 离散 
部 分 获得 : 

fry) = YP I (4-142) 


BU AM A Py Cy) } WK a] (La, b, J) 互 不 重 倒 ,并且 它 们 有 可 能 形成 z 轴 的 一 个 分 
=l (partition). 
设 久 服从 [0.3] EAA, 考虑 映射 ， 
Y = g(X) = 21r0,1 (X) + In. QO — Its (X) (4-143) 
它 不 是 [0,3j] 的 一 个 分 割 。 这 意味 着 六 的 一 些 区 间 映 射 到 0， 从 而 Y 的 输出 为 {一 1,0,1， 


第 4 章 多 维 随机 变量 


2} 。 由 于 和 是 均 久 分 布 的 ， 因 此 勒 贝 格 测度 可 以 用 来 计算 概率 : 


PO < X < 1/2) =(1/3)L[0,1/2] = 1/6 (4-144) 
PUIS X <2) =(1/3)L[1,2] = 1/3 (4-145) 
P(5/2 < X < 3) =(1/3)L[5/2,3] = 1/6 (4-146) 


其 中 1/3 为 fx(z) 的 高 度 。 使 用 勒 贝 格 测度 ， 或 更 简单 地 用 1 减 去 上 面 的 三 个 概率 ， 得 
到 XX 在 两 个 区 间 {[1/2,1],[2,5/2]} 上 的 概率 是 1/3。 离 散 随机 变量 Y 的 概率 密度 函 
数 为 : 
fy(y) = (1/6)[26(y — 1) + Oy — 2) — My + 1) + 26(y)] (4-147) 
其 中 确定 了 Y 的 输出 不 能 与 给 定 了 离散 输出 概率 的 8 函数 的 面积 混淆 。 < 
# 4-2 总 结 了 当 X 是 一 个 连续 随机 变量 时 ， 计 算 映 射 Y 一 g(X) 对 应 的 fy(y) 的 四 种 基 
本 变换 方法 。 


表 4-2 Y=g(X) 的 变换 方法 和 连续 随机 变量 X 
累积 分 布 函数 (间接 ) 方 法 
首先 计算 Y 的 累积 分 布 函 数 ; Fy Cy) (假设 gCX) 单 调 ) 
将 Fy(y) 写 成 Fx(。) 的 形式 : P(Y<y)=P(X=< g 1(y))=Fx(g_1(y)) 


d b d dr 
对 IMA fr) = GOP xg 1(y))= fx(g (ay 


概率 密度 函数 (直接 ) 方 法 
计算 g(z)=0 的 所 有 根 ， 并 且 将 它们 写成 y 的 形式 : z= 二 g!1(y) 
计算 g (z) 并 且 对 每 个 z, 计算 fx Co) /g! (2) hy kete 
N 
将 所 有 根 相 加 : fyo) = 1fx(z,)/| g'(z,)| 
n=l 
RA an= 87 > Cy) 
5 函数 方法 
计算 g(z)—y=0 的 所 有 根 


N 
利用 6(g(z) — y) = J) 58(z 一 ze)/ | g'n) |. BS Ə(g(z) — s) 
n=] 


积分 并 且 利用 利 选 特性 : fO) = | fx(z)8(&(z) 一 ?dr 


指示 函数 方法 
将 5(X) 表 示 成 加 权 指 示 函 数 之 和 的 形式 
确定 Py(y,)= Plam SX Sbm) HR 


M 
对 5 函数 加 权 求 和 : fy(y) = >) Py(yn)5(y 一 yn) 
m=] 


4.9 两 个 随机 变量 的 重要 函数 


本 节 将 考虑 两 个 独立 随机 变量 到 一 个 随机 变量 的 变换 。 除 了 首先 讨论 的 随机 变量 之 和 
外 ， 我 们 仅 考 虑 两 个 随机 变量 都 连续 的 情况 。 对 于 离散 随机 变量 的 情况 ， 或 者 一 个 连续 另 
一 个 离散 (如 例 4-15) 的 情况 ， 都 可 参照 连续 方法 。 

4.9.1 求 和 : Z=X+Y 
累积 分 布 函数 (间接 ) 方 法 可 用 于 导出 当 X 和 了 是 独立 的 连续 随机 变量 时 ，Z 的 概率 


密度 函数 。 首 先 计 算 联 合 累积 分 布 函数 Fx.y(z,y), Z 的 累积 分 布 函数 可 以 写成 以 下 二 重 
积分 的 形式 : 


Fz(z) = P(X +Y < zx) = III fx.y (x+y) daddy 


r+ 


À 
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=|" T fxy (rsy)dady (4-148) 
其 中 在 最 后 一 个 表达 式 里 ， 将 at ye 替换 为 x 三 xz 一 y， 并 用 它 来 限制 内 积分 的 积分 范 
围 。 关 于 z 进行 微分 得 到 : 
fz(z) = | are- (4-149) 
对 相关 的 X ALY 上 式 通用 ， 当 它们 相互 独立 时 ， 联 合 概率 密度 函数 可 分 开 计 算 ， 得 
到 最 终结 果 : 
fe =| fee — y) fy G)dy (4-150) 


我 们 看 到 它 是 两 个 边缘 概率 密度 函数 的 卷 积 : fz) = fx (z) x fy (y), 
现在 假设 X 连续 Y 离散 ， 式 (4-150) 变 为 : 


file) = [AC 5 py[n]J8(y — n)dy (4-151) 
这 里 代 人 了 基于 狄 拉克 ó 函数 的 Y 的 概率 密度 函数 。 利 用 筛选 特性 ， 卷 积 变 为 : 
fz G) = H fx(z—n) py[n] (4-152) 


这 个 表达 式 是 X 的 连续 概率 密度 函数 变换 后 的 加 权 和 。 加 权 值 由 Y 的 概率 质量 函数 
给 定 ， 以 确保 fz(z) 具 有 单位 面积 。 它 是 本 章 稍 后 将 要 学 习 的 “混合 ”的 一 个 例子 。 
最 后 ， 当 X MY 都 离散 时 ， 先 采用 类 似 式 (4-148) 的 方法 ， 但 等 式 为 : 


P(Z = z) = P(X+Y = > = Du baal y] (4-153) 


这 是 一 个 一 对 一 的 求 和 ， 当 x 变化 时 ， 等 式 tyw -< 使 得 y 一 = 一 Zz。 假 设 独立 并 将 概 
率 质量 函数 里 的 变量 y 替换 为 z 一 zx， 得 到 最 终结 果 ， 这 是 一 个 离散 卷 积 : 


pz[z] = Pa pz[r]pr[z— <=] (4-154) 


设 X 和 了 是 独立 同 分 布 的 参数 为 1 的 指数 分 布 随机 变量 。Z 一 X 十 Y 的 概率 
fz (z) = x | exp Ale — exp Ay) lu, (z— y) Io, dy (4-155) 


指示 函数 用 来 跟踪 每 个 函数 的 区 间 ， 当 被 积 函 数 里 的 参数 变化 时 ， 它 是 非常 重要 的 。 积 分 
区 间 为 [0,ce) n (一 coyz] = DRAF 得 到 : 


fz (z) = A’ exp(— az) dy = X” zexp(— Az) Itoy (z) (4-156) 
0 


REBAH, r=2) HRA WER. < 
GEED Zx # x, 是 参数 为 {IN，p} 的 独立 同 分 布 二 GAA MORE 利用 式 (4-154)， 
得 出 了 =X 十 Xs 的 概率 质量 函数 : 


prLyj = S L.) qn, a | 


ZEN N 
= pig) l. ) Kua ) ioc av Cy] (4-157) 
离散 指示 函数 用 于 指定 正确 的 求 和 限 。 可 以 证 明 ( 见 习题 4-30)， 最 后 一 个 表达 式 的 求 和 可 


以 简化 为 ( ，，) 。 因 此 结果 是 参数 为 ON D 的 二 项 分 布 的 概率 质量 函数 ; 


tei en Qh Tony pil Lo. my Ly | 
1 


2N 
pyly] = ( $ jara] o Cy] (4-158) < 
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4.9.2 Æ: Z=X-Y 
使 用 类 似 4. 9. 1 节 的 方法 ， 差 的 累积 分 布 函数 为 : 
FG) =P(X-¥ <2) = [| frv(esyrdrdy 
s. ise (4-159) 
=| | fryCz,wdzdy 
关于 < 进行 微分 ， 得 到 
fe =| frety dy =| fxle+y) fr(oddy (4-160) 
最 后 一 个 表达 式 是 利用 随机 变量 独立 得 出 的 。 这 个 积分 是 两 个 概率 密度 函数 的 确定 的 互相 


XAS: f;¿(z)= fy(y) * fx(z)( 见 附录 C 中 的 定义 )。 不 像 卷 积 ， 如 我 们 预计 的 那样 ， 它 
不 是 对 称 的 ， 因 为 Z= X—Y KF X 和 YY 不 对 称 : 


f = | fx(@ frla— z)dz (4-161) 
离散 随机 变量 的 相应 结果 是 : 
pz[z]= 2; px[z + y]Jpy[y] = 2; px[LzxjpyLzr—z] (4-162) 





ee 设 久 和 Y 是 参数 为 p 的 独立 同 分 布 伯 努 利 随机 变量 ， 因 此 Z=X—-Y 的 输出 


pz[z] = > pq ”pg To [z+ yon Ey] 


y=—o 


=¢ (p/ >) (p/q)” To. [z + y] (4-163) 
其 中 第 二 个 指示 函数 给 出 了 求 和 范围 是 {0,1) 。 给 定时 ， 第 一 个 指示 函数 按照 如 下 方式 
限制 z Wf: z== —1=>y=1, z=0>y={0, DUR z= 二 1 过 y= 二 0。 从 而 
pele] =2[(p/q) p/o Oz + 1]+ (1+ (p/q)2)6[=z] + (p/q)ó[=z — 1]] 
= pgd[z + 1] + (q? + plz] + pq6[z — 1] (4-164) 
这 是 一 个 对 称 的 ( 偶 ) 概 率 质 量 函 数 ， 不 与 任何 标准 参数 分 布 对 应 。 < 
49.3 R: Z= xY 
考虑 独立 随机 变量 X 和 YY 相 乘 的 情况 。 再 次 使 用 累积 分 布 函数 方法 : 
Fz(z) = P(XY =< 2) = || fxr Ce, y)dzdy 
tysz 


0 oo oo fz/y n 
=| | fx (asydedy + | | xy(Czyy)dzdy (4-165) 
—o0y 2/y 一 co 


因为 y 可 能 为 负 ， 这 种 情况 将 改变 相 除 时 的 不 等 号 方向 ， 所 以 外 积分 必须 分 成 两 个 区 
JQ: y E (—00,0] Ml y E [0,co)。 确 定 对 应 内 积分 区 间 的 不 等 式 分 别 为 zx 之 zy A =<=/y, X 
两 部 分 关于 z 进行 微分 ， 利 用 链 式 法 则 得 到 : 


1z(z) = 一 | /Wf eydy | A/V a Ca/y,y)dy 


=| Ty (e/a dy (4-166) 
4X 和 工 独 立时 ， 最 终 的 结果 是 : 
G) = |” THAD (4-167) 


对 于 离散 随机 变量 ， 表 达 式 是 : 
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pz[z] = p(XY = z) = > Di p< [z doy [y] (4-168) 


s z/x 是 整数 ， 一 定 要 仔细 考虑 离散 情况 下 乘积 中 的 所 有 项 。 
设 X 是 一 个 参数 为 请 的 几何 分 布 随机 变量 ，Y 服从 伯 努 利 分 布 ， 参 数 同样 
为 p。 乘 积 Z= XY 的 值 域 是 Z+ ， 与 入 相同。 因为 了 服从 伯 努 利 分 布 且 了 一 0 出 现 的 概率 
为 gq 会 1 一 p， 我 们 预计 2Z 将 在 z= 二 0 处 有 更 大 的 概率 质量 (与 几何 随机 变量 相 比 )。 计 算 概 
率 密度 函数 时 需要 分 别 考虑 Z=0 和 ZA0 的 情况 : 
P(Z = 0) =P(X = 0 & Y = 0) 
=P(X = 0) + P(Y = 0) — P(X = 0) P(Y = 0) 
=pb+q— bq = 1 — pq (4-169) 
其 中 第 三 行 利用 了 独立 性 。 对 于 Z>0: 
P(Z =z) =P(X = <= H Y = 1) 
=p(X = z)P(Y = 1) = p°q' (4-170) 
结合 这 两 种 结果 ， 得 到 以 下 概率 质量 函数 : 


pelz] = (1— pq)ó[=z] + ° Selz- n] (4-171) 
需要 注意 的 是 ， 可 以 加 上 或 减 去 p*6[zj]， 因此 求 和 中 包括 n= 0: 
pzLz] = Lz] +m "6[z— n] (4-172) 


这 是 一 个 由 已 加 权 的 几何 分 布 概率 密度 函数 以 及 只 有 一 个 输出 0 的 “随机 ?变量 的 概率 质量 
函数 98Lz] 的 混合 。 
接 下 来 ， 利 用 式 (4-168)， 通 过 对 y 求 和 ,并且 在 第 二 个 求 和 中 代入 y 的 值 ， 推 导 


得 到 ， 
pz[z] = >) D pepa = >) pq'q + Dipp (4-173) 
第 一 个 求 和 只 用 于 z 一 0， 这 是 因为 乘积 项 中 二 0， 所 以 对 所 有 二 HRA, 
> ma = De = pq/(1—q) = q (4-174) 
第 二 个 求 和 仅 关于 每 个 < 值 进行 ; 
pr p = P >q. = ple [=] (4-175) 


es NE 172) 中 的 概率 质量 函数 。 “4 





地 说 ， 我 们 预计 乘积 2 KYRA Z=0 处 概率 质量 非 0 的 混合 随机 变量 


P(Z = 0) = P(XY = 0) = P(Y = 0) =q (4-176) 
首先 计算 累积 分 布 函数 : 
PZ <2) =P(Z< =|Y = 0)P(Y = 0) +P(Z<=x|Y = DP(Y = ) 
=qu(z) + pP (Z < =|Y = 1) (4-177) 


因为 z=>0 时 P(Z<z|Y=D=1, Fr # — f £ — A f IK 8 3, ATEM: 
P@ = z|Y-= 3) =PCXY < Y = 1) 


= P(X < z) = Aexp(— Az) u(z) (4-178) 
因此 ， 概 率 密度 函数 是 混合 的 ， 如 下 式 所 示 : 
fz(z) = qó (z) + prexp(— àz) Ito) (z) (4-179) 


利用 式 (4-167) 得 到 ; 
f; (e) =| 本 避让 天 人 二 道中 
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= pÀ exp(— Az) Ito. (z) + 中 (A/y)ðCy)exp(— àz/ y)dy (4-180) 


其 中 积分 区 间 由 Y 的 取 值 范围 确定 ， 它 也 是 Z 的 取 值 范围 。 当 z>0 时 ， 因 为 指数 衰减 为 
0 的 速度 比 y— 0 时 1/y 趋 近 于 无 穷 大 的 速度 要 快 (注意 指数 里 的 参数 还 包括 1/y)， 所 以 最 
后 一 个 积分 为 0。 可 以 看 出 最 后 一 个 积分 为 犹 拉 克 6 函数 86(z)( 见 习题 4-31), 再 次 得 出 
式 (4-179) 中 的 混合 概率 密度 函数 。 4 
4.9.4 商 (比值 ): Z=X/Y 

两 个 随机 变量 商 的 累积 分 布 函 数 如 下 : 

F(z) = P(X7Y < z7) == III fx (z, y)dzdy, 
=| [| fxvCrydedy + | | fryCz,y drdy (4-181) 
对 = 微分 ， 并 假设 随机 变量 独立 ， 得 出 : 


f z (z) = 一 | _ yf Gay ,dy 十 | 


yf xv (zy y) dy 


=| | yl fx (ey) fr Cy) dy (4-182) 
这 是 所 谓 的 比值 分 布 (Marsaglia，2006)， 也 称 为 商 分 布 。 对 于 离散 随机 变量 ， 概 率 质 
量 函 数 为 : 
pz[z] = >) 2; py[yJpx[=z] (4-183) 
必须 注意 ， 因 为 除法 X/Y, Y 只 在 非 0 值 有 概率 质量 。 
假设 入 和 了 是 独立 同 分 布 的 高 斯 随机 变量 ， 参 数 为 (a= 0), Z= X/Y 的 
概率 密度 函数 是 : 


fe =s | _lylexp (y) /2¢)exp(— y /20)dy 
= 二 | yexp(— y (=: + 1)/2o°)dy (4-184) 
0 

代入 -v 会 y Vz’ 十 1 和 dv 二 dy Vz +1, FA: 

piss — |. vexp(— 2 /222)do (4-185) 
Rh, A whv’'/20, Ask dw=vdv/o’ 和 
= roro, š, sa = tek FES | w 

fz (z) res l exp(— w) dw “a ED (4-186) 
这 是 标准 柯 西 概率 密度 函数 。 I < 


假设 例 4-22 中 的 X 和 立 均 值 都 是 零 ， 但 有 不 同 的 方差 ok Pot, HHH 
率 密 度 函 数 为 : 


fz (z) = 





5 人 | y| exp(— (zy)? /26%) exp(— y /20} dy 
noxoy) 一 二 





ZS |, yexp— y*L2* /20% + 1/204 Ddy 


TOxdy J 0 





Sead | yexp(— */2a" dy (4-187) 


Toxoy J 0 
其 中 已 经 代入 了 
z’ (20% + 1/20} = 172a2 (4-188) 
从 附录 A 可 得 ， 积 分 值 与 半 正 态 分 布 的 均值 成 正比 : 
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| vexp— /2o2)dy 王 aa f2/n = a° (4-189) 
比例 常数 4 二 Vrxa /2。 代 入 该 结果 ， 得 出 最 终 的 结果 : 
he a = OXOY = ox /oy 7 
[he = noxoy nl(o% +207) nL (Coxyer) + x? | pao 
这 是 另 一 个 柯 西 概率 密度 函数 。 <i 


GREED 在 前 面 的 例子 中 ， 比 值 里 的 两 个 随机 变量 具有 相同 的 区 间 。 接 下 来 考虑 两 个 
区 间 不 同 的 离散 随机 变量 的 比值 。 设 X 服从 参数 为 访 的 几何 分 布 , 了 服从 输出 为 { 一 1，1) 
的 对 称 伯 努 利 分 布 ， 这 样 我 们 不 需要 担心 被 零 除 。 很 显然 ，Z 一 X/Y 的 区 间 为 Z。 考 虑 以 
下 的 概率 


P(X = 0), z= 0 
P(Z = z) = {pcx = ay D, z> 0 (4-191) 
P(X =—2z,Y =—1), =z<O0O 
由 于 X 和 了 独立 ， 得 到 下 面 的 概率 质量 函数 
pzLz] = pó[z=] + Inle] + ag... Lz] (4-192) 
接 下 来 利用 式 (4-183) : 
pz[z] = 2 2 Mp 9 (4-193) 
y=1,1z==y.z€ ZT 


由 于 输出 为 士 ， 所 以 思 和 g 的 指数 与 标准 伯 努 利 分 布 不 同 ( 见 附录 A), X$ y 求 和 后 得 到 
两 项 : 
pz[z]= >) ph Di (4-194) 


ee 
r=xz,r€ Z rz=—z,z€ Z 


从 中 我 们 发 现 ， 仅 在 z= 二 0， 它 们 都 对 概率 质量 函数 有 贡献 。 注意 到 第 二 项 中 的 = 
—z#a z € Zt 5 z€ Z 等 价 ( 包 括 零 )， 从 而 


pelzel= pg lzt[z]+ pq Ir [=] (4-195) 
从 每 个 分 量 中 拆 分 出 z=0 并 相 加 ， 得 出 6[z] 的 概率 为 声 十 pg 一 p， 因 此 上 式 与 (4-192) 
是 等 价 的 。 4 


4.10 BRDLSE aR AY SIR 


本 节 将 总 结 第 3 章 讨论 的 一 些 参 数 分 布 的 变换 结果 。 利 用 前 面 的 方法 ， 仅 讨论 几 个 变 
换 的 推导 过 程 。 其 余 的 在 本 章 结尾 的 习题 中 讨论 。 
4. 10. 1 高 斯 变换 


W(X. Xn} 是 独立 同 分 布 高 斯 随机 变量 ， 参 数 为 (jy.,o)} 。 表 4-3 中 提供 了 几 个 变换 
的 结果 。 


表 4-3 高 斯 随机 变量 的 变换 


独立 同 分 布 {x } 的 要 求 













随机 变量 Y( 参 数 ) 





Y=exp(X) log IEA (p+ o} 
Y= |X| 半 正 态 {a=o) 
Y= X1/X? 柯 西 (c= 0,a = 1} 
Y=Xi+X; 高 斯 (0,2u,26) 
Y= /Xt+X; Fit Al {a=o} 

N 
y= >) x 卡 方 {N) 

n=1 


Y=arctan( X I / X; ) 均匀 {0,27} 
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(Y= 二 exp(X)) 由 于 指数 函数 是 单调 的 ， 采 用 累积 分 布 函数 方法 得 到 : 
Fy(y) = P(exp(X) < y) = P(X < In(y)) 











1 Int y) a b í 
i aie exp(— (z — )*/20?) dar (4-196) 
微分 后 得 到 : 
fy(y)= z exp(— (In(y) — yE 23") on 
= edt C15) = yt /20*) Tho, 00) Gy) (4-197) 
y V2ro 
它 是 参数 为 {w，c} 的 对 数 正 态 分 布 概率 密度 函数 。 利 用 概率 密度 函数 (直接 ) 方 法 同样 可 以 
很 容易 得 出 该 结果 。 < 
EET (Y= ¢(X,/X,)) Pl 4-22 中 利用 式 (4-182) 中 的 通用 公式 导出 了 该 概率 密度 函 





数 。 这 里 我 们 利用 6 函数 变换 方法 得 出 (jy = 0,0 = 1) 
fy(y) => ive exp(— (zi + 23)/2)6(2,/22 — y)dx,dzz 


== |z; |exp(— (riy? + 23)/2) dz, 


=F nelah cL (4-198) 
其 中 
ltiz — y) = |z; |#8(zi — zzy) (4-199) 
关于 x 积分 时 利用 了 筛选 特性 。 注 意 到 积分 与 式 (4-189) 类 似 ， 对 变量 进行 适当 的 变换 
后 ， 得 到 了 以 下 的 结果 : 


fy (y) = = mas, (4-200) 


它 也 是 标准 柯 西 分 布 。 < 
4.10.2 指数 变换 
A> {Xie Xn) 是 独立 同 分 布 的 参数 为 的 指数 随机 变量 。 表 4-4 给 出 了 几 个 变换 


表 4-4 指数 随机 变量 的 变换 


独立 同 分 布 {X。} 的 要 求 








随机 变量 Y{ 参 数 } 

















Y=aX 指数 1{A/a} 
Y=exp(—aX) 350, 1] 
= Sta X7A 瑞 利 {a} 
Y=rexp( X) HB HEr, a=a} 
Y=p—aln(exp(— X)/(1—exp(— X))) Logistic{ yz. a} 
Y 一 XI 韦伯 {r,，a=1/4) 
Y= Xi—X: 拉 普 拉 斯 {j= 二 0， a=1/A} 
Y=min(X,, X2) 指数 {24) 
N 
y= >) x, ME (r= N, a=2) 
aml 


(Y=X,—X,), RAS BRE: 
fy (y) =]: L Mexp(— ACa 十 zz))6GCzl — z; — y)ulx, ula) da, dz: 
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af exp(— A(2x; + y))u(x; + y)u(x;)dx; (4-201) 
两 个 阶 跃 函 数 都 只 影响 积分 下 限 : 
fy(y) =i exp(—ay)| exp(— 2Ar,) day 
min(0,—y) 
= (4/2) exp(— Ay )exp(— 2Amin(0, — y)) (4-202) 
考虑 学 的 符号 : 
(A/2)exp(— ày), y 宇 0 
(y) = | 4-203 
fry (A/2)exp(—ay + 2ay), y <0 ates 
得 到 : 
fy(y) = (A/2)exp(—Aly]) (4-204) 
它 是 均值 为 0， 比例 参数 a= 1/A 的 拉 普 拉 斯 分 布 的 概率 密度 函数 。 < 
GERD (Y 一 exp( 一 1X))。 利 用 概率 密度 函数 (直接 ) 法 : 
fry =| 
|£ (xn) | z g iy 
_ Aexp(— Ax) u(x) = m š: 
Tt laari u(x) | =i (4-205) 


其 中 代入 了 g' (x) 二 一 Aexp( 一 AX)。 由 于 g(x) 是 单调 的 ， 因 此 只 有 一 个 x, 二 z+， 并且 由 于 


fx (y) = u(—In(y)/À) = To (Jy) (4-206) 
这 是 (0,1] 上 均匀 分 布 的 随机 变量 的 概率 密度 函数 。 由 于 u(—In(y)/A)=1, 4—In(y)/a>o> 
ln(y) 二 0， 意 味 着 y E€ (0,1]， 从 而 得 到 最 后 一 个 表达 式 。 < 


4.10.3 FHER 


设 (X i. X.) 是 独立 的 自由 度 分 别 为 mn) 的 卡 方 随机 变量 。 表 4-5 中 给 出 了 几 个 变 
换 的 结果 。 


表 4-5 卡 方 随机 变量 的 变换 













随机 变量 Y{ 参 数 } 
伽 马 {1r 一 zy/2，) 三 172c} 





_ X m 

=h Flim,n) 
Y=X,/ /X:/r FER tir} 
Y=X +X: EH (N =2n} 


Y= X /(X i + X;) 贝塔 (a = n/2,8 = n/2) 


(Y=(X,/m)/(X,/n)) h ó A J EAR: 





T? 


1 itt al 
fu) = ern? as sa ga | -= PERN 
* exp( 一 (zl + z; )/2)6([(zi /m)/(=z;/n)] — y) ula, ulr: ) dx, dz, (4-207) 
RA: 
ëƏ(mz  /mz, — y) = (m/n) |x: |l — (m/n) ary) (4-208) 
得 到 : 


1 2 (m/n) |x| ((m/n)z;,y)”7-1 274 


FOD) = Fem pon/2) POn/2)]- 
* exp(— ((m/n)z;y + z; )/2)u((m/n)xz;y)u(x,)dzx; 
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= (m/n)”/ yoy (mtn) /2-1 
2°92 1/2) Cn/2) 0 


* exp(— ((m/n)y +1) 22/2) dzx2 
# RAR MARU Cm/n)y+1)/2, W| RR 46 3k ME 3 BEB RE PS CLI RK A): 


— i (min) 72—1 À = I((m+ n)/2—1) 
7 T exp(— ((m/n)y + 1)=x; /2)dx; Tom/ my F/D 
(4-210) 


(4-209) 


因此 : 
RE a PS r A UU UU U S 
we 272 Tm /2)TCn/2) ([(m/n)y + 11/2)" ((m/n)y + 1)/2 
整理 并 代入 贝塔 函数 : 


(4-211) 


a T(m/2 + n/2) I 
B(m/2,n/2) Ee 72yPOn/25 (4-212) 
得 到 : 
fry) B(m/2,n/2)((m/n)y + 1)? (4 213) 


这 是 参数 为 {m,n) 的 下 分 布 。 < 
4.11 随机 向 量 的 变换 


前 面 介绍 的 一 个 随机 变量 变换 到 另 一 个 随机 变量 的 方法 可 以 扩展 到 多 个 随机 变量 。 我 
们 不 会 详细 推导 所 有 的 结果 ， 而 是 在 推导 连续 随机 变量 的 变换 后 提出 主要 思路 ， 然 后 总 结 
包括 离散 随机 变量 在 内 的 各 种 类 型 变换 的 结果 。 

考虑 随机 向 量 羡 会 LX ,…Xn] ,以 及 根据 Y, = g, (X) 得 到 的 变换 后 的 向 量 Y = [Y 
Yn] ,其 中 {g,(。*)} 是 已 知 函 数 ( 可 能 是 非 线 性 的 )。 这 些 函 数 可 能 严格 递增 、 严 格 递 
减 、 或 者 非 单调 ， 也 有 可 能 包含 平坦 区 域 或 者 在 多 个 不 同 的 区 间 包 含 这 些 特点 的 组 合 。 该 
函数 也 可 能 将 XX 的 一 个 子 集 映射 到 Y。 首 先 考虑 N 个 函数 是 严格 递增 或 严格 递减 的 。 对 
于 这 种 情况 ， 逆 象 {g， YM) RAW ELH. 

o 连续 的 随机 人 向量。 连续 随机 向 量 之 间 的 变换 是 式 (4-106) 中 结果 的 直接 扩展 ， 利 用 

直接 方法 将 一 个 随机 变量 映射 到 另 一 个 随机 变量 。Y 的 联合 概率 密度 函数 是 : 


fry) = |JG5 | fet) |. = (4-214) 
HP n= 1,…,N,J(x) 是 雅 可 比 行列 式 ， 计 算 方法 如 下 


Byi/azi nes Oy; /dry 


J(x) 会 det[ J (x)] = det (4-215) 








Əyn/ dT: <—_ Oyn/OIN 
其 中 JC) RET EL SEG). JCxz) 中 的 变量 为 独立 变量 ， 因 张 矩 阵 的 元 素 
是 x 的 函数 。 需 要 注意 的 是 (4-214) 使 用 的 是 J(x) 的 绝对 值 ， 不 要 与 (4-215) 中 可 能 
是 正 或 负 的 行列 式 混淆 。 通 过 对 每 个 函数 g (XX) 求 映射 到 同一 y, 的 不 同 X 的 分 量 ， 
可 以 将 前 面 学 习 的 一 个 随机 变量 变换 的 结论 推广 到 包括 多 个 非 单调 函数 的 情况 。 此 
外 ， 任 意 雅 可 比 偏 导 数 为 0 的 区 域 将 导致 fy (y) 包 含 离散 部 分 ， 从 而 产生 混合 概率 


密度 函数 。 
对 于 某 些 映射 ， 更 容易 计算 闭 变 换 的 雅 可 比 矩 阵 ， 如 下 所 示 : 
QZi /Oyi w. OX, /Oyn 
Jy) À det aos : (4-216) 
Orn /Oy, … Əxrs/ƏyN 








因此 利用 式 (4-217) 代 替 式 (4-214) : 
fry) = [JOD | fe (x) |. - te (4-217) 
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这 个 表达 式 中 的 雅 可 比 行列 式 是 y 的 函数 ， 因 此 ，zx, 二 gi'(y) 只 用 于 fx). 
i X, 和 X, 是 独立 的 标准 高 斯 随机 变量 ,考虑 以 下 变换 : 
= /X*?+ X: Y; =¿srctan( X, /X; ) (4-218) 
BAY KE ë @% B| 21, Y, 为 [0,2x]。 为 得 到 联合 分 布 fy(y)， 我 们 需要 得 到 ( i ) 雅 
可 比 行列 式 和 (ii MRR, MCI): 
Pu pajas det| ™/ VXI 二 x3 x2/ eel 
t/i Ha) — mi / (zt +23) 
p 17 Jri + zŠ (4-219) 


对 于 (ii )， 我 们 按照 下 式 重新 整理 变换 : 
Yi = Xi + X}, Xt = Xitan’ (Y,) (4-220) 

利用 上 面 两 个 式 子 求解 X, 和 Xs ， 得 到 
X, = Y,sin(Y,),X, = Yicos(Y,) (4-221) 


将 这 些 等 式 代 入 (4-214)， 得 到 
fe) = (z +23)? 1 /2m)exp(— (1/2) Lai +23) | , -—o 
= | yı | (1/2x)exp(— (1/2)(ytisin°(y;) + yi cos? (y; )) 
= (1/2) To, (y2) | yı | exp(— yi /2) Irt (yi) (4-222) 
从 中 我 们 可 以 看 出 ，Y PY, 独立 ， 分 别 服从 瑞 利 分 布 和 均匀 分 布 。 为 完整 性 ， 请 注意 另 
一 个 雅 可 比 行列 式 为 ; 


Tiny = det( 


其 大 小 是 (4-222) 第 二 行 的 第 一 个 数 。 
e 离散 随机 向 量 ”对 于 离散 随机 向 量 之 间 的 转换 ， 我 们 需要 找到 变换 后 所 有 可 能 的 输 
出 ， 然 后 确定 和 的 每 个 分 量 的 概率 质量 是 怎样 作用 于 Y 的 每 个 分 量 的 概率 质量 的 。 


sin(ys)  ypicos(y>,) => (4-223) 


cos(y:) — yisin( j>) 





下 面 的 例子 说 明了 该 方法 。 
AXA N=2 个 独立 变量 ， 分 别 是 参数 为 mw 和 os 的 泊 松 随机 变量 。 考 虑 下 列 变换 : 
Y, = X, + X; . Y; = Xi (4-224) 
ALY, MX, X, 具有 同样 范围 ,但 Y。 只 包括 具有 整数 平方 根 的 整数 。 对 于 随机 变量 Y， 
py, [Ly] = P(X? = y) = P(X, = Vy) = a expla) (4-225) 


其 中 y: € {0,1,4,9,16,+ iii hes a 对 于 随机 变量 YY 


Py, Lor] =exp(— (ai 十 az)) bi af Ture te [=]Iz [s —=1 


=exp(— (ai +aż)) » tees bes (4-226) 
第 一 个 方程 中 的 第 二 个 指示 函数 导致 求 和 的 上 限 是 y, 因为 y rEZ 意味 着 工 不 能 超 
过 yi( 否 则 ，yi 一 为 负 )。 采 用 二 项 式 公 式 ， 如 果 我 们 乘 以 和 除 以 yi1， 改 写 得 到 的 最 后 
结果 为 : 


by, [y1] = 1/y!1)exp(— (ai + a2)) >) ae [>J 


z=0 


=(1/y1 exp (ai +az)) >) (7 Jarat Le Lyn] 
=(1/y!exp(— (a +a))(aji + ae)” I [> J (4-227) 
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这 是 参数 为 w 十 os 的 泊 松 分 布 。 < 


4.12 样本 均值 X 和 样本 方差 S° 


样本 均值 是 一 些 随机 变量 的 最 重要 的 函数 之 一 ， 又 称 为 算术 平均 值 。( 几 何平 均 是 
(X... Xv"), SRPMS, WIE. WES N 个 输出 ， 对 应 N 个 随机 
变量 {X,… ,XN)。 这 种 重复 试验 可 被 看 作 是 第 6 章 学 习 过 的 一 个 离散 时 间 随 机 序列 。 本 
节 我 们 只 需要 考虑 N 个 随机 变量 ， 而 不 考虑 它们 如 何 生 成 和 是 否 相 互 依赖 。 样 本 均值 通 
常用 来 衡量 输出 的 均值 : 它 是 均值 的 一 个 估计 和 量 。 

定义 (样本 均值 ) 随机 变量 (Xo Xv} 的 样本 均值 为 : 


= x Sl 
XA DIX (4-228) 
它 本 身 就 是 一 个 随机 变量 。 
在 随后 的 章节 中 ,我 们 将 讨论 X 的 一 些 有 意思 的 性 质 。 在 这 里 ， 尽 管 样本 均值 是 独 
立 同 分 布 {X,} 的 px 的 无 偏 估 计 ， 但 由 于 它 对 异常 值 敏 感 ， 所 以 不 是 鲁 棒 的 。 尽 管 大 的 输 
出 ( 正 或 负 ) 不 太 可 能 发 生 ， 但 也 有 机 会 发 生 ， 导 致 样本 均值 小 于 或 大 于 实际 均值 。 要 提高 
估计 器 的 性 能 ;一 种 方法 是 增 大 N， 从 而 将 异常 值 的 影响 减 小 到 最 小 。 或 者 可 以 使 用 其 他 
均值 估计 器 (或 概率 密度 函数 的 “中 心 ”)， 如 在 第 5 章 中 讨论 的 中 位 数 。 
定义 (样本 方差 ) 随机 变量 (X ，… Xv} 的 样本 方差 为 : 
, Li< <2 
S Bal Xx, X (4-229) 
它 本 身 就 是 一 个 随机 变量 。 
其 中 包括 一 个 因子 1/CN 一 1)( 而 不 是 1/N)， 因 此 S 是 独立 同 分 布 {X,) 的 x 的 无 偏 估计 。 
设 {X,} 在 [一 1，1] 上 均匀 分 布 。 当 N=2 m, X 的 概率 密度 函数 可 以 通过 对 
两 个 相同 的 矩形 概率 密度 函数 卷 积 获得 ， 得 到 一 个 三 角形 概率 密度 函数 ， 如 图 4-34a 所 
示 。 增 大 N， 使 矩形 概率 密度 函数 与 前 面 的 卷 积 结果 再 次 进行 卷 积 。 增 大 N 以 后 得 到 连 
续 概率 密度 函数 ， 如 图 4-34a 所 示 。 观 察 发 现 样本 均值 的 概率 密度 函数 开始 类 似 于 一 个 高 
斯 分 布 。 这 种 现象 是 前 面 讨 论 过 的 (在 第 7 章 将 再 次 看 到 )CLT 的 一 个 特征 ， 它 的 条 件 是 ， 
3 N->coe 时 ， 独 立 随机 变量 之 和 趋 近 于 高 斯 概率 密度 函数 。 另 一 个 样本 均值 的 概率 密度 函 
数 的 例子 如 图 4-34b 所 示 ， 其 中 样本 服从 参数 4 二 1 的 指数 分 布 。 请 注意 ， 即 使 指数 概率 密 
度 函 数 不 对 称 ( 像 均匀 和 高 斯 概率 密度 函数 那样 ) ， 样 本 均值 的 概率 密度 函数 的 形状 也 迅速 
趋 近 高 斯 概率 密度 函数 。 


a) 


图 4-34 N 增 大 时 , 样本 均值 的 概率 密度 函数 。a) (X,) 是 独立 同 分 布 的 [一 1,1] 上 的 均匀 分 布 ; 
b) {X,} 是 独立 同 分 布 的 4 二 1 的 指数 分 布 。 为 方便 观察 ， 概 率 密度 函数 乘 以 了 一 定 的 系数 a 





163 


164 第 一 部 分 ”概率 、 随 机 变量 与 期 望 


4.13 最 小 值 、 最 大 值 和 顺序 统计 量 


考虑 N 个 独立 同 分 布 的 随机 变量 (X ,…, Xn), 其 概率 密度 函数 为 fx(z)。 本 节 的 目 
的 是 推导 出 最 小 Xa, 会 min(X,,…,Xy) 的 概率 密度 函数 ( 称 为 一 阶 统计 量 )， 最 大 
X. 4Amax(X, yore Xy) ( 称 为 第 N 阶 统计 量 ) ， 以 及 整个 顺序 统计 量 。 

定义 (顺序 统计 量 ) ”顺序 统计 量 是 将 随机 变量 {XX ，…，XN} 按 升序 排列 : {Xo oer Xow } 0 

由 于 随机 变量 是 随机 的 ， 任 何 一 个 都 有 取 值 范围 ， 因 此 对 随机 变量 进行 按 大 小 排序 时 
可 能 会 有 问题 。 当 然 ， 一 且 我 们 有 一 个 实际 的 样本 (采集 输出 ) {zi ,… ,zn) 可 以 对 它们 按 
大 小 排序 。 然 而 ， 排 序 好 的 随机 变量 {Xa ,… Xa) 可 从 概率 观点 描述 ， 如 我 们 现在 使 用 
的 累积 分 布 函数 变换 方法 。 

定理 4-4( 上 顺序 统计 量 ) 第 n 阶 统计 量 久 (的 概率 密度 函数 为 ; 


Frew (2) = GIT FE GO[1 — Fx (a) J" f Ca) (4-230) 


KP. frx) Fe Fy (x) PR RRA DA LX Xv) 的 概率 密度 函数 和 累积 分 布 函数 ， 
nE{l e, N}o 
证 明 : B n 阶 统计 量 的 累积 分 布 函 数 为 : 
Fy) (z) =P (Xin < zy = PGR 2 Xe z) 


S )P(x < >” (1— P(X < z)" 


N 
-> (r |FRA — Fx (1) (4-231) 


关键 的 步骤 是 第 一 行 : 因为 我 们 感 兴趣 的 是 排序 后 的 样本 ， Xm Sr BREDA n +` 
随机 变量 三 z+。 表达 式 里 允许 随机 变量 数目 超过 nn， 因 为 我 们 要 保证 第 n 阶 统 计量 三 z。 求 
和 式 中 的 表达 式 是 序列 的 数目 ， 其 中 及 个 或 更 多 N(X,} 三 x。 该 结果 对 应 于 成 功 概率 为 
p 二 Fx(z) 二 P(XX) 和 失败 概率 为 q= 1 一 Fx《z) 一 P(X>z) 的 二 项 概率 密度 函数 (注意 ， 
0<Fx(z)<1 是 二 项 分 布 概率 密度 函数 中 的 p BORA). RE n PRES PLE <r, 
则 概率 非 零 。 关 于 < 进行 微分 并 使 用 链 式 法 则 ， 得 到 概率 密度 函数 : 


N N i 
fx G) = s ) fx Co) LmP F(x) — Fx (1) — (N= m) Fg (1) — Fete) ] 
7 m=n Th 


(4-232) 
虽然 不 是 很 明显 ， 这 个 式 子 仍 可 以 简化 。 观 察 到 被 减 项 只 有 一 项 不 同 ， 其 他 项 都 可 以 
被 消 掉 。 提 出 Nfx(zx) 得 到 : 


N — 
fx, G) =Nfx(@)| >) es ji wa Fez)" 


=. pa Fg) “P| (4-233) 
式 中 利用 了 
m(^)= N(Y +), Nm [")= N( U”) (4-234) 


第 二 个 求 和 项 中 的 第 N 项 是 零 ， 因 为 相应 的 二 项 式 系数 为 零 (、\、) 全 0。 这 导致 
和 上 限 由 N 变 为 N 一 1。 在 第 一 个 求 和 里 ， 令 /=m 一 1， 得 到 


入 一 ! 


fx.) =NfxG)| x. (a7 Fk) — Fx (x))™ 


l=n-1 
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N—1 ie 
Mi a Fir FRA | (4-235) 
经 过 减法 ， 第 一 个 求 和 里 只 有 第 ”一 1 项 保留 下 来 
N-1 
fr, (2) = Nfx(z) [ „E JFE A — Fx (x) (4-236) 


它 与 式 (4-230) 相 同 。 
定理 4-5( 一 阶 统计 量 : 最 小 ) [Xie Xv) 独立 同 分 布 条 件 下 , Xu, 全 min(CX e, Xy) 
的 概率 密度 函数 是 : 
fx. (z) 一 NEL 一 FxGz)] fx (x) (4-237) 
累积 分 布 函 数 是 : 
Fx „ (z) 一 1 一 [1 一 Fx(z)] (4-238) 
证 明 : 该 概率 密度 函数 是 定理 4-4 的 一 种 特殊 情况 ， 代 入 n=1 可 以 很 容易 证 明 。 累 
积分 布 函数 推导 如 下 : 
Pe (2) =1 = PCA, > to NX g > 2) 
=] — [1 — F, (x) ]ee L1 — Fy (x) ] = 1 — [1 — Fx (x) J“ (4-239) 
这 也 可 以 通过 将 ?一 1 代入 (4-231) 得 到 ， 它 是 除了 m=0 以 外 所 有 二 项 分 布 的 总 和 。 
定理 4-6( 第 N 阶 统 计量 : RK) 在 (X, Xn) 独立 同 分 布 条 件 下 ，Xew 2 
max(Xi，…,XN) 的 概率 密度 函数 是 ， 
fxg (zx) = NEY! CY fx (a) (4-240) 
累积 分 布 函 数 是 
Fx (2) = FYC) (4-241) 
WEAR: 该 概率 密度 函数 是 定理 4-4 的 一 种 特殊 情况 ， 代 入 n= N 可 以 很 容易 证 明 。 累 
积分 布 函数 推导 如 下 : 
Fi (zy) = PX, z= Xy 2) de (4-242) 
也 可 以 通过 将 m= N (RA (4-231) 49 
A {Xo Xn) 是 [0,1] 上 独立 同 均匀 分 布 的 样本 ， 其 概率 密度 函数 和 累积 
分 布 函 数 为 : 


yx Cry — Ito. C2)» Fx (x) —_ #1 [9,13 (z) (4-243) 
利用 定理 4-4 得 出 第 n 阶 统计 量 的 概率 密度 函数 为 : 
fx, (z) = = a — Fo ix) (4-244) 


从 中 可 以 得 出 最 小 值 和 最 大 值 的 概率 密度 函数 为 : 
fra G) = NO — E) Toal), fx, (2) = Na" Irola) © (4245) 
图 4-35 给 出 了 [0,1] 均 久 分 布 的 例子 。 观 察 发 现 ， 一 阶 统计 量 的 概率 密度 函数 在 0 附 
近 ， 并 且 随 着 NN 的 增 大 变 得 更 加 集中 。N 阶 统计 量 在 1 附近 ， 也 随 着 N 的 增 大 更 加 集中 。 
BAN 当然 不 会 影响 基本 的 概率 密度 函数 ， 其 仍然 是 [0.1] 上 的 均匀 分 布 。 它 只 改变 式 (4-242) 
中 的 指数 ， 从 而 使 得 样本 增多 ， 这 样 第 一 个 样本 靠近 0 的 可 能 性 越 大 ， 同样 地 第 N 个 样本 靠 
近 1 的 可 能 性 也 越 大 。 事 实 上 ， 当 N 一 co 时 ， 一 阶 统计 量 和 NN 阶 统 计量 的 概率 密度 函数 
近似 为 狄 拉克 8 函数 ， 
lim fx (xz) = fx(x) lim NFX (x) = Troii (z) limNz (4-246) 
由 于 
i Na, (addr = 3 (4-247) 


HTE ND>0, ERRREALEKWHE OS KAASE MRB: Noo, # 
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Z 一 1 处 函数 的 高 值 趋 近 于 无 穷 大 ， 宽 度 接 近 为 零 ， 并 且 它 的 面积 固定 为 1。 一 阶 统计 量 在 
Z 一 0 处 有 同样 的 现象 。 图 中 还 有 7? 一 2 和 40 阶 统计 量 ， 分 别 对 应 N= 二 为 5 和 50。 





% 0.2 0.4 so wI A 
a) b) 
PA 4-35 Bil 4-33 中 [0,1] 均匀 分 布 随机 变量 的 顺序 统计 量 的 概率 密度 函数 。 
a) 样本 数 N=5; b) HARM N=50 a 
考虑 标准 高 斯 随机 变量 的 顺序 统计 量 。 最 小 和 最 大 的 概率 密度 函数 为 : 
NQ” (x) 2 
x, (zÀ) =—— (— 22 (4-248) 
fx x Jax exp r 
N[1 — Q(x) J 2 
x. (2) =—=— (= 2° 725 (4-249) 
Jx, AX Thx exp(— x 


式 中 ，Q(z) 是 Q 函 数 。 概 率 密度 函数 如 图 4-36 所 示 。 由 于 概率 密度 函数 不 具有 有 限 范 
围 ， 样 本 不 像 均 匀 分 布 那样 在 最 大 值 或 最 小 值 附 近 “ 雷 加 ”相反 随 着 N 的 增加 ， 概 率 
密度 函数 不 断 向 左 和 向 右 移动 ， 这 是 很 有 意义 的 ， 因 为 样本 越 多 ， 越 有 可 能 出 现 一 个 非常 
小 和 一 个 非常 大 的 样本 。 





b) 
图 4-36 例 4-34 中 标准 高 斯 分 布 的 顺序 统计 量 的 概率 密度 函数 。a) 样本 数 N=5; b) 样本 数 N=50 << 
414 混合 


FAC fx, (Cz,)} 表 示 随 机 变量 (X,) ,nn 二 1,… N 的 概率 密度 郴 数 。 
定义 (概率 混合 ) 如 果 随 机 变量 Y 可 以 表示 为 下 列 加 权 和 ;那么 它 是 一 个 概率 混合 : 
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N 
fy(y) = 2Ja,f x, (y) (4-250) 
n=] 


其 中 , a, € [0,1] 并 且 Dla, = 1, 这 也 称 为 有 限 混合 。 


混合 不 像样 本 均值 那样 是 随机 变量 之 和 。 式 (4-250) 中 的 和 是 一 个 凸 组 合 ， 因 为 系数 
非 负 且 总 和 为 1。 这 两 个 属性 确保 f(y) 是 一 个 有 效 的 概率 密度 函数 ， 即 fy(y) 之 0 并 且 ， 


š is N 
| Jy (y)dy =| >Ja,fx (y)dy 
— — n=l 


> 人 fx, dy = Sa, = 1 (4-251) 
需要 注意 的 是 ， 式 (4-250) 中 可 以 使 用 不 同 的 概率 密度 函数 。 如 果 概 率 密度 函数 来 自 


同一 概率 徐 ， 只 是 概 率 分 布 参数 不 同 ， 概 率 混合 可 称 为 参数 混合 。 
定义 (参数 混合 (离散 ))” 当 随机 变量 了 可 以 写成 以 下 加 权 和 时 ， 它 是 一 个 参数 混合 : 


N 
fry) = Darfxlys0,) (4-252) 
n=1 


Pa € [0.1] t Ra, =l, 6, 是 随机 变量 XX 的 一 个 参数 。 
上 述 和 只 针对 不 同 的 参数 值 ， 求 和 项 中 只 有 一 种 类 型 (“ 徐 ”) 的 概率 密度 函数 。 参 数 连 
续 时 ， 也 可 以 定义 相应 的 混合 。 
定义 (参数 混合 (连续 )) 当 随 机 变量 Y 可 以 写成 下 列 积分 时 ， 它 是 一 个 连续 混合 : 
f(y) = | aD fr (ys0)d0 (4-253) 
EP, aO>0 FH | “a(0)d9 二 1， 它 也 称 为 无 限 混合 。 
a(b) 虽 然 满足 概率 密度 函数 的 性 能 要 求 ， 但 它 不 必 是 一 个 概率 密度 函数 。 如 果 a CO 
好 为 一 个 有 效 的 概率 密度 函数 ， 则 9 可 以 看 作 是 一 个 随机 变量 ,我 们 可 以 利用 fe (0) 明确 
EXE. 
BD 抽 三 项 随机 变量 Y 是 连续 混合 的 一 个 例子 ( 昌 然 了 本 身 是 离散 的 )。 设 X 是 
一 个 参数 为 a 的 泊 松 分 布 随机 变量 ， 并 且 假设 w 是 参数 为 = p/q.r)(qA1— p) HEH 
布 随机 变量 ， 由 式 (4-253) 


feo =| fsd falada 





=| > exp(— a) aly —n) 


n=0 


1 





.下 De D/D exp (p/q)a)u(a)da ` (4-254) 
从 例 3-62 中 看 出 这 个 表达 式 可 以 重新 表示 为 负 二 项 概率 密度 函数 的 形式 : 
=" 
fy(y) = ald Jow n) (4-255) 
n=0 
其 中 参数 为 (p N= r), < 
习题 
随机 变量 的 近似 时 ， 近 似 服从 标准 高 斯 分 布 。 
4-1 证 明 当 N 一 oo 时 ,参数 为 N 的 卡 方 随机 变量 — 4-3 证 明 当 Noo 时 ， 参 数 为 {N，p) 的 负 二 项 分 
服从 参数 为 {4 = N.a = VIN) 的 高 斯 分 布 。 布 是 参数 一 N(1 一 力 的 泊 松 分 布 。 


4-2 证明 参数 为 r 的 学 生 氏 + 分 布 , 在 r 比较 大 4-4 EM rok, SRA. r) hht A 
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联合 


4-5 


4-6 


4-7 


4-8 


4-9 


4-12 


4-14 


是 参数 为 {jy = r/A.o = fr/ÀA) 的 高 斯 分 布 。 


、 边 缘 和 条 件 分 布 


(a) 求 下 列 联合 概率 密度 函数 的 边缘 概率 密度 
函数 ; 
Fy (x,y) = yexp(— + — y) Iro.) (z) Iro, (y) 
(4-256) 
(b) 求 条 件 概率 密度 函数 fy|x (y |z) Al fx |x 
(x|y). 
对 于 下 列 的 (a) 和 (b) 重 复习 题 4-5。 
(a) 
fy (ayy) = (1/2)zylro.2y (z) Ito. (y) 


(4-257) 
(b) 
fx.v(z,y) = 1/2) 31+ y)Iro (x) Ion Cy) 
(4-258) 


Jü PF bg A f. 9 X={ 总 和 是 偶数 }、Y= 
(6 — RO ee). HE X A Y 是 否 独 立 。 
设 X 是 [0,e] ，a>0 上 的 均匀 分 布 ， 定 义 事件 
B={X>6}, 其 中 0<b<a。 HEF fx|a(z|B) 
的 表达 式 。 

关于 式 (4-80) 中 的 二 维 指数 概率 密度 函数 ， 
计算 (a) 条 件 概率 密度 函数 fx | x, (zi | x2) 
(b) P(X; > X2 | X,=2) HRA. 

导出 式 (4-85) 中 二 维 指 数 随 机 变量 累积 分 布 
函数 的 一 个 版 本 。 

二 维 指数 分 布 的 另 一 个 版 本 的 累积 分 布 函 
RK: 


Fx, .x, (zi ze) =[1 — exp(— zı ) — exp(— a.) 


+ exp(— Jz? + 23)] 
© Tro.) (ai ) Iro.) (ay) (4-259) 
计算 (a) 二 维 概率 密度 函数 及 (b) 边 缘 概 
率 密度 函数 的 表达 式 。 
É X, 和 X, 是 独立 参数 分 别 为 wm Ma WIA 
松 随机 变量 。 利 用 习题 4-25 的 结论 ， Y= 
X, +X, 是 参数 为 a 十 oz 的 泊 松 分 布 。 证 明 
当 条 件 是 Y 王 y( 一 个 固定 的 数字 ) 时 ，Xi 的 
条 件 概率 质量 函数 为 二 项 分 布 。 
考虑 以 下 联合 概率 质量 函数 : 
bx.y[z, y] = Tei Cylon.) [z] 
(4-260) 
其 中 a € (0,1)。(a) 求 ce， 保证 它 是 有 效 概 率 质 
量 函 数 ;(b) 推 导 相应 的 两 个 边缘 概率 质量 函 
数 ; (o) 求 条 件 概率 质量 函数 py | xD |e]. 
求 例 4-6 中 互信 息 的 表达 式 。 


随机 变量 的 变换 


4-15 


4-16 


对 于 参数 为 的 指数 随机 变量 ， 证 明 变换 Y= 
JV 20° X/ AE A 3 a =0/A 的 瑞 利 分 布 。 

É XE[—1,2] 上 的 均匀 分 布 。 求 下 列 变 
换 的 概率 密度 函数 。(a)Y=exp( 一 X); 


4-17 


4-18 


4-19 


4-20 


4-21 


4-24 


4-25 


4-26 


4-27 


4-28 


4-29 


(b)Z= x°, 
É X 为 [一 a，aj 上 的 连续 均匀 分 布 随机 变 
E. 求 Y 二 g(X) 的 概率 密度 函数 ， 其 中 : 
0， <0 
g(x) = fee 0< z< b (4-261) 
36, z>% 
aX IRM BR u=, c= 1) HMMA. 
求 Y=sgn(CX) 的 概率 密度 函数 ; (b)X 服从 
标准 高 斯 分 布 和 2 = X: 时 ,计算 Z 的 概率 
密度 函数 。 
设 X 和 YY 是 独立 的 在 L0，1] 均 匀 分 布 的 随 
机 变量 。 证 明 对 于 V 王 X/Y: 
fv Co) = (1/2) Iro. Co) + (1/222 ) Iti. Cv) 
(4-262) 
对 于 独立 的 离散 随机 变量 X 和 了 ， 推导 
式 (4-168) 中 Z= XY 的 概率 质量 函数 表达 
式 ， 并 给 出 Z=0 时 的 结果 。 
设 X 是 一 个 参数 (N = 4,p) 的 二 项 分 布 随 
机 变量 。 当 Y 在 [0， 幻 连续 均匀 分 布 并 且 
与 X 独立 时 ， 计 算 Z=X+Y 的 概率 密度 函 
数 ， 并 画 出 p=1/2 时 的 fz(z)。 
证 明 当 X 服从 参数 为 4 的 指数 分 布 时 ， 
Y=exp(X) RAER a=, r=1) MHA BH 
分 布 。 
É X, 和 X, 是 服从 几何 分 布 的 随机 变量 ， 
它们 相互 独立 并 且 属 于 NW。 证 明 
P (X, ==|X,#- X, = y) 
=[1/(y—1)J]la,..—u [z] (4-263) 
是 一 个 离散 均匀 分 布 。 
当 X, 和 X; 独立 同 分 布 ， 且 服从 参数 为 N 
的 卡 方 分 布 时 ， 证 明 Y=X,/(X, +X, ) 是 参 
数 {fe= N/2, p= N/2} 的 贝塔 随机 变量 。 
证 明 M 个 独立 同 分 布 的 参数 为 x 的 泊 松 随 
机 变量 ， 其 总 和 也 服从 泊 松 分 布 但 参数 
为 Ma, 
利用 逆 高 斯 随机 变量 的 变换 导出 (3-77) 中 的 
概率 密度 郴 数 。 
推导 表 4-4 中 给 出 的 指数 随机 变量 的 变换 是 
Logistic Ai. 《这 是 本 章 开 头 的 图 4-1 中 给 
BRAF 
(a) 证 明 当 X, 和 X, 是 独立 同 分 布 的 参数 为 
4 的 指数 随机 变量 时 ，Y 二 XX,/Xs 的 概率 密 
度 函 数 为 ; ; 
1 


fr. = Gay 
(b) 利 用 该 结论 证 明 ， Z=p—aln(X,/X,) A 
从 习题 4-27 中 的 Logistic 分 布 。 
证 明 当 X 服从 参数 (A = a/r,r}) 的 伽 马 分 布 
时 ， 可 通过 变换 Y= 二 VX， 得 到 概率 密度 函 
数 为 式 (3-148) 的 Nakagami 随机 变量 。 





Ito. Cy) (4-264) 


证 明 以 下 三 项 式 系数 总 和 ; 


(—)= pJ w Tat (4-265) 


n=0 


证 明 
Mz) = r /DN exp(— Az/y) dy 


(4-266) 
设 X 是 { 一 2， 一 1，0，1，2} 的 等 概率 随机 
变量 。 定 义 随机 向 量 Y 会 [Y, Y] 其 中 
Y,;4X+2,Y, &X* (4-267) 
求 联合 概率 密度 函数 了 y(y) 的 表达 式 ， 并 确 
定 Y MY. 是 否 独立 。 
4 X 是 标准 高 斯 随机 变量 时 ， 重 做 习题 A-32, 
设 X, 和 X, 是 独立 同 分 布 的 参数 为 4 的 指 
数 随机 变量 。 计 算 Y = [YY] 的 联合 概 
率 密度 函数 ， 其 中 
Y, = X, — X; ,Y; = X, + X; 
(4-268) 
W (X i. Xs) 是 独立 同 分 布 的 参数 为 (us 
o) 的 高 斯 随机 变量 , 证 明 式 (3-211) 中 的 
(N—1)S'/e 是 自由 度 为 N 一 1 的 卡 方 分 布 ， 
其 中 St 是 样本 方差 ， 与 样本 均值 X AX. 
顺序 统计 量 
436 设 {Xl,… Xn BBR {jy = 0,a) 的 拉 普 拉 
斯 分 布 的 样本 。 计 算 最 小 Xo 和 最 大 Xo 
的 概率 密度 函数 。 


4-35 


4-37 ”对 于 参数 为 a 的 泊 松 随机 变量 ， 重 做 习题 4-36。 

438 ”对 于 参数 为 {c=0，v} 的 柯 西 随机 变量 ， 重 
做 习题 4-36 。 

439 当 X 和 X, 是 参数 为 A%1 ，hs 的 指数 随机 变 
量 时 ,计算 最 小 Xo 的 累积 分 布 函数 和 概 
率 密度 函数 。 

4-40 iW (Xi, ,XNn} 是 [0 一 1/2;0 十 1/12] 上 均 勾 
分 布 的 样本 ， 其 中 0 是 常数 。 求 顺序 统计 量 
(Xen } 的 概率 密度 函数 的 表达 式 。 

进一步 阅读 


在 第 ,2 章 和 第 3 章 的 末尾 给 出 的 参考 文献 里 ， 可 
以 发 现 多 个 随机 变量 和 变换 的 额外 资料 。 附 录 A 
中 提供 了 特殊 多 维 分 布 的 参考 资料 。 本 章 结尾 的 
一 些 问 题 可 通过 下 列 参 考 文献 进行 进一步 的 研究 : 


HAE 多 维 随机 变量 


441 BX. Xn) 是 独立 同 分 布 的 L0，58] 上 均 
名 分 布 的 样本 。 证 明 {ee 1<m=<xn< 


N 的 联合 概率 密度 函数 为 : 


N 
Fras Meg (Tn Tn) L U k. ee) 


CTI/ 1 E == = yw 
CO lose 3 ew? 
Tes, a (Xn) 
(4-269) 
这 里 使 用 了 一 个 多 项 式 的 系数 。 
混合 
4-42 设 和 X 是 参数 {w，c} 的 高 斯 随机 变量 。 证 明 
下 列 参数 的 混合 仍然 是 高 斯 的 ， 
fe (y) = [GO fe (yu)da 
(4-270) 
其 中 a(j) 是 标准 高 斯 概率 密度 函数 。 
对 于 以 下 混合 : 
fv) = pfx, (y) + qf x, (y) 
(4-271) 
其 中 X, . X. 分 别 是 (0，65]、(5，1] 上 的 均 
匀 分 布 , PE [0,1], g 会 1 一 p。 求 累积 分 布 
函数 Fy(y) 的 表达 式 并 确定 中 值 m... 
仿真 作业 
4-44 Fil] MATLAB 中 的 cdf、icdf 和 式 (4-87) 的 
算法 产生 相关 贝塔 随机 变量 。 令 相关 系数 
Pp 二 0. 8， 并 使 用 hist3 绘制 直方 图 。( i ) 二 
维 高 斯 分 布 ; (ii ) 二 维 均匀 分 布 的 道 变 换 ; 
GDES. B wm = 三 1， 有 一 及 二 
4。 使 用 corrcoef 计算 二 维 贝 塔 分 布 样本 的 
相关 系数 。 
重 做 作业 4-44 获得 相关 拉 普 拉 斯 随机 变量 。 
令 相关 系数 p 三 一 0.6， 拉 普 拉 斯 分 布 的 参 
数 jp =u, =0 m=1, as=2, 


4-43 


4-45 


混合 : Johnson, Kemp 和 Kotz (2005) Johnson, Kotz 
和 Balakrishnan(1995) 。 

顺序 统计 量 : Lehmann (1959), Mood, Graybill 和 
Boes(1974) ，Lehmann(1983) 。 
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期 2a ROM 


5.1 引言 


随机 变量 的 期 望 是 其 概率 密度 函数 (pdf) 的 位 置 和 中 心 的 一 个 测度 。 从 反复 试验 的 角 
度 来 说 ， 它 是 一 个 “预期 值 ”， 期 望 可 以 通过 平均 值 ( 也 称 为 均值 ) 来 观测 。 本 章 将 讨论 分 布 
中 心 的 其 他 测度 ， 如 中 位 数 、 众 数 以 及 称 为 矩 的 随机 变量 函数 的 期 望 。 图 5-1 总 结 了 四 个 
能 够 提供 随机 变量 位 置 和 形状 信息 的 重要 矩 。 基 本 上 ， 所 有 的 期 望都 是 一 个 函数 对 概率 测 
度 的 积分 。 因 此 ， 它 可 以 写成 抽象 概率 空间 (0, 下 ,P} 的 勒 贝 格 积分 或 随机 变量 X 在 R, 
B(R),Fx(x)) 上 的 黎 曼 -斯 蒂 尔 切 斯 积分 。 在 前 面 的 章节 中 ， 我 们 使 用 黎 曼 积分 通过 概率 
密度 函数 计算 概率 、 导 出 各 种 随机 变量 函数 的 概率 密度 函数 。 我 们 通常 假设 概率 密度 函数 
是 连续 的 ， 或 者 是 能 用 狄 拉克 ó 函数 表示 的 离散 、 混 合 随机 变量 的 概率 密度 函数 。 

中 心 和 位 置 的 测度 


in. T e 






2 HARE 
方差 0x 的 测度 


eo MX BOX 
厚 尾 / 薄 尾 
额 峰 度 y2 的 测度 


图 5-1 随机 变量 X HOT RE 


5.2 期 望 与 积分 


首先 假定 抽象 概率 空间 为 NF, P} OX ERO 中 输出 映射 到 及 的 一 个 随机 变量 ; 
定义 (期 望 ) 随机 变量 X 的 期 望 是 : 
ECX] 全 | xco)dP(ow) (5-1) 


它 是 函数 X (Co) 65 3 MU 6 dn 2, P 是 事件 空间 (OF) 的 概率 测度 。 

附录 D 简要 介绍 了 勒 贝 格 积分 。 从 0Q 映射 到 及 的 所 有 输出 用 上 面 的 概率 测度 P 加 权 后 
得 到 期 望 值 。 我 们 也 可 以 按 下 式 将 ELX] 全 部 写成 概率 空间 为 {及 ;8CR),Fx(z)} 的 随机 变 
量 的 形式 : a 


e[X] = B -i (5-2) 


其 中 Fx(Cz) 是 X 的 累积 分 布 函数 (cdf) 。 该 表达 式 是 函数 glr) =r BJ 3 S r 8 Z UJ B R 
分 ， 附 录 D 也 简要 说 明了 这 一 点 。 在 接 下 来 的 几 节 中 ， 我 们 将 探讨 如 何 计算 这 些 积分 。 首 
先 讨论 离散 随机 变量 ， 然 后 是 连续 随机 变量 。 接 着 ， 利 用 积分 计算 随机 变量 函数 的 期 望 ， 
进而 得 到 撼 ( 如 方差 和 偏 度 ) 和 特征 函数 。 


5.3 指示 器 随机 变量 
抽象 概率 空间 {2, 丰 ,P} 中 ， 随 机 变量 的 一 个 基本 类 型 是 指示 器 随机 变量 。 


BSE HAPHE 


定义 (指示 器 随机 变量 ) 指示 器 随机 变量 X(Co) 是 从 事件 EEN 到 实 线 及 的 一 个 映射 : 
ASY wee t 
tw) = Lear ri ee (5-3) 
图 5-2 给 出 了 指示 器 随机 变量 的 映射 关系 。 观 察 发 现 ES 必然 映射 到 零 。 除 了 变量 o 
是 随机 的 ， 指 示 器 随机 变量 与 指示 函数 本 质 上 是 相同 的 ，ow 由 概率 空间 指定 。 它 的 期 望 是 
事件 E 的 概率 : 


ELX] = | feCordP Cw) = P(E) (5-4) 





图 5-2 事件 巨 的 指示 函数 到 实 线 及 的 指示 器 随机 变量 X 的 映射 
以 及 
| TR S PUY = = PCR) (5-5) 
a 


图 5-2 中 使 用 狄 拉 克 6 函数 表示 这 些 概率 。 显 然 因 为 指示 器 随机 变量 只 有 两 个 输出 (五 
ALES), X 的 概率 质量 函数 (pmf) 是 “成 功 ” 概 率 p= P(CE) 的 伯 努 利 分 布 : 
P(X= 1) = P(E)= p, P(X = 0) = P(E) = 1 p >q (5-6) 
这 里 我 们 用 简化 的 符号 X 表示 X(o);， 注意 =z 实际 上 意味 着 集合 {w: X(o)=<x), 4H 
— H FB, FF E= {偶数 ) 是 一 个 P(E)=1⁄/2 的 指示 器 随机 变量 。 
由 狄 利克 雷 函 数 给 定 的 一 个 更 为 复杂 的 例子 中 ，Q 二 妨 ， EE 二 Q 是 所 有 有 理 数 
的 集合 。 对 于 指示 器 随机 变量 ， 有 理 数 映射 到 1， 无理 数 ( 由 EC 给 定 ) 映 射 到 0。 事 件 巨 的 
概率 是 : 
P(E) = | racoadPcw) =Ü (5-7) 


因此 PES: 当 随 机 选择 一 个 实数 时 ， 我 们 "几乎 肯定 ?会 选择 一 个 无 理 数 。 虽 然 E 和 
E 有 无 穷 多 的 元 素 ， 无 理 数 的 基数 与 及 的 相同 (用 Qi 表示 )， 而 @ 的 基数 要 小 得 多 ， 与 整数 
Z 的 基 相 同 (3。 表示 )。 因 为 没有 任何 有 效 的 及 分 割 ， 黎 曼 积 分 不 能 用 来 计算 概率 。 另 一 方 
面 ， 因 为 集合 使 用 了 概率 加 权 ， 可 以 直接 利用 勒 贝 格 积分 计算 P(E)( 不 同类 型 积分 的 更 多 
讨论 见 附录 D). < 
需要 注意 的 是 式 (5-3) 磁 巧 与 第 2 章 介 绍 的 狄 拉克 测度 相同 : 
TIE(w) = 6, (CE) (5-8) 
但 是 这 里 我 们 将 Ie(w) 作 为 概率 测度 P(w) 的 特殊 类 型 的 随机 变量 。 后 面 我 们 在 期 望 
的 讨论 中 将 更 多 地 关注 狄 拉 克 测 度 作为 概率 测度 。 


5.4 简单 随机 变量 


简单 随机 变量 是 指示 器 随机 变量 的 概括 。 这 里 的 事件 不 是 两 个 ， 而 是 形成 0 一 个 分 割 
FPR N 个 互 斥 事件 映射 到 及 的 NN 个 值 。 
定义 (简单 随机 变量 ) 简单 随机 变量 和 具有 以 下 形式 : 


X(w) = >7zaTe (w) (5-9) 
n=l 
其 中 zw 是 及 中 分 配给 事件 已, WU, (E,} BRO 的 一 个 分 割 。 
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除了 变量 ww 是 随机 的 且 由 概率 空间 N, FP) 指定 ， 一 个 简单 随机 变量 本 质 上 与 一 
简单 函数 ( 见 附录 D) 相 同 。 它 遵循 以 下 定义 : 


P(X = x.) = P(E,) = | Te, dP) (5-10) 
显然 ， 任 何 具 有 有 限 个 值 的 离散 随机 变量 是 一 个 简单 的 随机 变量 ， 因 为 它 可 以 很 容易 

地 由 (5-9) 式 表示 。 期 望 是 
ELX] =| Stale, dP) = DP AX = d = apse] GAD 


这 里 利用 式 (5-10)，pxLz,j 是 XX 的 概率 质量 函数 。 有 限 随机 变量 的 期 望 是 所 有 可 能 结果 的 
概率 加 权 和 。 这 个 结果 与 第 2 章 讨论 的 概率 的 频率 域 的 表示 ， 以 及 我 们 对 试验 “平均 结果 ” 
的 直观 认识 是 一 致 的 。 

Ay Q= {1,2,3,4,5,6,7,8,9}, F = P(Q), E X E, = 11,2),E, = {3,4,5,6}, E; = 
(7,8,9) ， 它 们 共同 形成 了 Q 的 一 个 分 割 。 下 面 是 一 个 简单 随机 变量 : 





—1, o% E€ E, 
X(w) = ° w € E, (5-12) 

Ls w E E, 
因此 z, = 1, 2=0, n=l, 如 果 Q 中 的 输出 是 等 概率 的 ， 则 P(X=2,)=2/9, P(X =m) = 
4/9, #0 P(X 二 zi) 二 3/9， 进 而 ELX]== 一 1X2/9 二 0X4/9 十 1X3/9=1/9。 < 


5.5 离散 样本 空间 的 期 望 


对 于 有 N 个 结果 的 离散 随机 变量 期望 ELXj] 由 式 (5-11) 给 出 。 具 有 可 数 无 穷 个 结果 
的 离散 随机 变量 的 期 望 ， 可 以 通过 下 面 介绍 的 简单 随机 变量 的 序列 得 到 。 首 先 假设 X AE 
负 。 可 以 直接 看 出 简单 随机 变量 序列 存在 且 取 极限 时 趋向 XCwo)。 例 如 ， 假设 a= 并且 
S Xw) =o 为 恒 等 映射 ， 则 X(Co) 的 结果 为 非 负 整数 。 定 义 以 下 简单 随机 变量 序列 ， 


a (we Rn 
X, (o) A 区 x (5-13) 
其 中 nE2+ 。 这 种 简单 随机 变量 序列 的 结果 是 0， (0,1,2) 等 注意 到 对 每 个 wEO， 


该 序列 是 非 递 减 的 : Xo (o) =< X, (o) < :-: T . Aim, 4 o = 2 时 ， 结 果 是 
X)(w=0, X lo) =0; 当 n 宇 2 时 ，Xi(w) 二 2。 从 式 (5-11) 有 限 和 的 期 望 得 出 : 


EL[X,] = >1mP(X = m) + nP (X > n) (5-14) 


m=0 


对 于 每 个 wEQ, limX,,(w) =X (w) 5 期 望 是 : 
ELX] 一 ELlim AEE lim ELX,] 


=lim J) mP CX = m) + lim nP (X > n) = Sr, Pxltn] (5-15) 


式 (5-15) 的 {z,) 表 示 非 负 整 数 结果 。 此 外 ， 为 了 保证 期 望 存在 ， 假设 limPCX> 必 一 0 的 速度 


比 n>oo 快 。 这 意味 着 概率 质量 函数 没有 “ 重 尾 ”。 如 果 这 两 项 以 同样 的 速度 趋 于 0 和 oo， 则 
结果 0 + ce 没有 定义 ( 见 附录 E)。 或 者 ， 如 果 n 一 05 的 速度 比 P(X 三 n) 一 0 还 快 ， 则 期 望 无 
穷 大 。( 柯 西 随机 变量 是 重 尾 连续 随机 变量 的 一 个 例子 ， 其 均值 没有 定义 且 三 阶 矩 是 无 穷 
大 。 它 是 本 书 讨论 的 具有 这 种 情况 的 唯一 参数 随机 变量 。) 式 (5-15) 的 结果 直接 将 有 限 随 机 
变量 的 期 望 扩展 到 可 数 无 限 的 随机 变量 。 当 随机 变量 包含 负 值 时 ， 可 分 别 计算 负 值 和 正 值 
的 期 望 ， 然 后 它们 都 作为 非 负 随机 变量 ， 最 后 整体 期 望 是 两 个 部 分 结果 相 减 : EL XI = 
2E+[LX] 一 25-LX]。 然 而 对 于 3 中 的 离散 随机 变量 这 是 没 必 要 的 ， 可 以 写作 : 
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ELX] = >> InPxl rn] (5-16) 
泊 松 随机 变量 的 期 望 是 : 
g[ix ] = Dno S: < (5-17) 


当 上 式 为 无 限 项 之 和 时 ， 可 以 很 方便 地 处 理 该 kaz, 分 解 该 式 ， 只 留 下 对 概率 质量 
函数 的 求 和 ， 最 终 等 于 1。 附 录 正 中 的 表 E-3 给 出 了 离散 概率 质量 函数 的 函数 形式 。 另 
外 ， 也 可 以 重新 排列 Was s, 使 它 成 为 已 知 函 数 的 级 数 展开 。 注 意 到 求 和 式 中 第 二 项 为 
0, Ask: 


E[X] = expa) dyn 和 = exp(—a) >) pit (5-18) 
A&E m=n—1, Fl: 
gx] = exp(—a) 2; s = exp oa>) 8 a (5-19) 
MER RH RAR carlo) ARORTCE 附录 ED, HELABA]. < 
几何 随机 变量 的 期 望 是 : 
ELX] = Sapa" (5-20) 
Wa eee ye aiaiai shit ae aati 
A z 2 1 Y 
gx] = (De )= REA = i. ps (5-21) 
ht a 1 b, KT =q/p. < 


回 到 期 望 值 ， 它 可 以 写作 及 上 一 个 积分 。 离 散 随机 变量 X 的 累积 分 布 函数 可 以 写成 单 
位 阶 跃 函数 的 加 权 和 |: 


Fx(z) = x px[=, Ju(z — z,) (5-22) 
其 中 {x,} 是 XX 的 结果 ，zpx[Lz， ] 是 概率 质量 函数 。 将 下 式 
dFx(z) = 5 pxl, Jdu(z — z,) (5-23) 
代入 式 (5-2) 得 出 
ec xis! S) pele, J| zdu(z—z,) (5-24) 


虽然 单位 阶 路 函数 w(z) 在 zx 一 0 处 没有 导数 ， 我 们 可 以 将 积分 写成 以 下 狄 拉克 6 函数 
的 形式 


š du(z — xa) = r wat.) dx (5-25) 


在 式 (5-25) 里 ， 虽然 犹 拉克 6 函数 是 一 个 广义 函数 ， 但 仍 被 视 为 普通 函数 。 还 要 注意 的 
是 ， 我 们 可 将 勒 贝 格 积 分 写成 下 式 : 


F zdulz— z,) = B xd8,, (x) (5-26) 


其 中 8,(z) 是 前 面 提 到 的 狄 拉克 测度 ， 仅 当 x 二 x, 时 为 1。 
由 于 式 (5-25) 中 的 SCz 一 zx,) 在 积分 里 ， 意 义 是 非常 明确 的 : 


[=e zd = |” zd G) = 2, (5-27) 
因此 式 (5-24) 得 出 了 与 式 (5-16) 相 同 的 结果 。 式 (5-24) 和 式 (5-25) 意味 着 离散 随机 变量 的 
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概率 密度 函数 可 以 写 为 : 
fx (z) = 


= bxLz, J6(z — En) 


(5-28) 


这 是 第 3 章 中 介绍 的 形式 。 虽然 离散 随机 变量 的 fx(z) 不 是 连续 函数 ,但 如 果 狄 拉克 6 PR 


数 可 以 理解 为 一 个 测度 ， 那 么 我 们 就 能 理解 如 何 计算 包括 这 种 fx (7z) 的 积分 


函数 g(x)， 有 


f g'(m)6Caur—m, y dg = i gud (2) = g(x) 


d Wa, MF 


(5-29) 


这 是 后 面 计算 离散 随机 变量 函数 的 期 望 时 要 用 到 的 知识 点 。 
再 次 考虑 概率 密度 函数 写成 以 下 狄 拉克 人 函数 形式 的 几何 随机 变量 : 


fx (z) = 
其 期 望 为 : 


ELX] 可 中 xf x(x)dx = > = x(x —n)dx = 2) "Pq" 
这 是 式 (5-20) 中 的 表达 式 ， 可 以 使 用 式 (5-21) 中 的 求 微分 方法 计算 。 


5.6 连续 样本 空间 的 期 望 


> ‘O(a —n) 


(5-30) 


oo 


(5-31) 


=0 


< 


利用 简单 随机 变量 序列 也 可 以 推导 出 连续 随机 变量 的 期 望 。 这 可 以 通过 将 连续 随机 变 
量 近 似 于 一 个 阶梯 映射 级 数 来 实现 ( 见 附 录 D 中 勒 贝 格 积分 和 连续 函数 的 做 法 )。 假 设 
式 (5-1) 中 的 X(w) 非 负 并 且 定 义 下 列 简 单 随机 变量 : 


Eta 


m/2" < X(w) < (m + 1)/2" 


(5-32) 


2" X(w) > 2" 


其 中 O0<m<2"—-1, 
对 每 个 wEO2，!(X,(o)} 是 非 递减 的 ， 
Xo lo) KX: Cw) SSX, (wR A 5-3 
给 出 了 第 一 个 简单 随机 变量 X,(w)。 上 述 
表示 方法 类 似 信 号 处 理 中 用 到 的 将 连续 波 
形 转化 为 离散 信号 的 量化 ( 见 第 10 章 )。 
Eth A WA eas OL AR RSD. M DO 
结 了 这 一 点 。 最 后 ， 注 意 到 式 (5-13) 用 类 似 
的 方法 ， 通 过 恒 等 映射 Xw) =w M =Z 
得 到 可 数 无 穷 个 离散 随机 变量 。 式 (5-32) 中 
的 简单 随机 变量 采用 了 任意 非 负 映射 X(w)。 
利用 非 整 数 步 进 {mm/2n}) 保 证 当 n 增 大 时 其 趋 
于 0， 使 极限 为 连续 随机 变量 ， 如 定理 5-1 
中 所 描述 的 。 


这 是 一 个 可 数 的 随机 变量 ， 近 似 于 原始 的 不 可 数 随机 变量 X。 注 意 到 


2 = 





o+. te Tapa Xw) 
图 5-3 由 简单 随机 变量 X,(w) 近 似 X(w) 


定理 5-1 一 个 简单 的 随机 变量 序列 的 极限 是 连续 非 负 随机 变量 。 
证 明 : 利用 式 (5-9) 中 使 用 的 符号 表示 这 个 简单 的 随机 变量 ，X(w) 的 第 x 个 近似 改写 如 下 : 


2") 


X,(w) = >} (m/2") Linxma CW) 十 2"I (xeo>2") Cw) 


m=0 
观察 发 现 
sup | X (w) 


— K, Cay sS 
其 中 2“ 是 每 个 区 间 的 宽度 (不 包括 趋 于 ce 的 阶梯 函数 的 最 后 一 


(5-33) 


(5-34) 


个 台阶 ) 。 对 于 每 个 WE O, 
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阶梯 近似 是 非 递 减 的 。 随 着 n 的 增加 ， 步 进 减少 ， 台 阶 范 围 扩展 到 覆盖 及 + 。 当 nokt, 
等 式 右边 趋 于 0， 近 似 值 收敛 于 原始 随机 变量 : X, (w) 一 Xl(w)。( 由 nn 索引 的 随机 变量 序 
列 的 收敛 性 将 在 第 7 章 进一步 讨论 ) 。 

通过 这 个 近似 ， 连 续 随 机 变量 ( 非 负 ) 的 期 望 是 : 


aeol 
ELX] =lim >} (m/2") P(m/2" < X(w) < (m + 1)/2") + lim2*P (X(@) Z 2") (5-35) 
592, =0 PE 


gry 


一 lim > =,.,P (X € [m/2" ,(m + 1)/2"]) (5-36) 
PP m=O 


Epa Am /2", JEAN T Phaps, BE 2°" 00 AEE EPOX (ew) 2") R 
度 慢 。 再 次 注意 zw 不 像 式 (5-16) 中 的 离散 随机 变量 zx, ， 它 不 是 整数 值 。 期 望 是 概率 测度 
为 Px 的 非 负 的 勒 贝 格 积分 : 


ELX] = | zdPx(z) (5-37) 


任意 连续 随机 变量 的 期 望 通过 正 结果 期 望 减 去 负 结果 期 望 获得 : EL[LX]=E+ [LX] 一 E-[LXj]。 
设 X 是 指数 随机 变量 ， 累 积分 布 函数 如 下 ， 
Fxtz) = [1 — exp(— Ax) Itoo (z) (5-38) 
简单 随机 变量 Xi(w) 的 期 望 为 : 
ELX ] =0P(0 < X < 1/2) £.01/2)P0/2<— X < 1) 
IPO S X S 872 k G/2PG/?2 sC Xr 2) 4+-2PO X >> 25 (5-39) 
利用 累积 分 布 函数 ， 可 得 ; 
Fx(a) — Fx(b) = exp(— Ab) — exp(— Aa) (5-40) 
因此 i 
ELX, ] =(1/2)[exp(— A/2) — exp(— A) ] + [exp(— A) — exp(— 34/2) ] 
+ (3/2)Lexp(— 34/2) — exp(— 2A) ] + 2exp(— 2A) (5-41) 
当 ) 王 1 时 ， 利 用 式 (5-41) 得 出 EL[X,] 二 0. 6664。 随 着 n 的 增加 重新 计算 期 望 ， 很 容易 
得 出 ELX,] 一 ELX] 王 1。 特 别 注意 到 
PIX > 2*) = 1— Fy (2") = exp(— 2%) (5-42) 
从 而 : 
lim2"exp(— 2"A) =0 (5-43) 
即 式 (5-35) 最 后 一 项 的 概率 趋 于 零 的 速度 要 快 于 2-"-co。 < 
随机 变量 XCo) 从 (NFP) 映射 到 (2.BC(R),Fx(z)), WBA WER _L ET RB 
斯 蒂 尔 切 斯 积分 得 到 ， 


e[X] = | zdFxCz) (5-44) 
其 中 Fy (a2) fe X WAS eR. WMR Fx (zx) 处 处 可 导 ， 那 么 dFxy(a)=fx(a)dzxz, Hp 
PCz) 是 概率 密度 函数 ， 则 : 
e[X] = | zyrxcodz (5-45) 
这 个 表达 式 定 义 的 期 望 更 加 常见 ， 是 式 (5-15) 离 散 随 机 变量 期 望 在 连续 随机 变量 的 对 
应 的 表达 式 ; 这 里 积分 “替换 ?” 求 和 。 对 于 及 或 抽象 的 样本 空间 Q 中 的 混合 随机 变量 ， 分 别 
利用 黎 曼 -斯 蒂 尔 切 斯 和 勒 贝 格 积分 计算 期 望 。 附 录 D 中 提供 了 这 方面 的 例子 。 
URD 因为 高 斯 随机 变量 关于 参数 六 对 称 ， 因 此 其 期 望 很 容易 计算 。 但 是 要 注意 ， 
这 种 对 称 性 并 不 总 是 保证 得 到 明确 的 期 望 ， 稍 后 将 借助 柯 西 随 机 变量 说 明 这 一 点 。 当 函数 
关于 某 个 到 对 称 时 ， 我 们 可 以 得 出 frat fr rtu) H fe(z) f D — 4 p Haw 
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数 ， 则 积分 为 零 。 令 奇 函数 为 g(x)=u—=, MW; 
| efs dz = | @=-pfr@de =0 (5-46) 
假定 g(x)fx(x) 的 积分 在 每 个 区 间 是 有 限 值 ， 重 新 组 合 上 面 表 达 式 ， 得 到 最 终结 果 ， 
eX] = B xf x(x)dz = u| fde = p (5-47) < 
通常 利用 分 段 积分 ( 见 附录 D) 来 计算 指数 随机 变量 的 期 望 (以 及 后 面 的 其 他 矩 ) : 
[aao = st —| vau (5-48) 
设 u=Az, dv=exp(—Az), Alb 
é[X] =| aexpC 一 ixz)dz 


=, i epia -| LA emt = Arde 


=0+[ exp(—Ar)dx = 1/A (5-49) < 
位 置 参数 c 一 0 的 柯 西 随机 变量 ， 其 期 望 是 : 





< 
EEX] =(a/n)| =a 
一 (a/2rx) In(z* +a ) |Z- = co 一 cc (5-50) 
虽然 工 是 奇 函 数 ，Fx(Cz) 是 偶数 ， 但 由 于 积分 结果 在 每 个 端点 是 无 限 的 : oo 一 co 没有 
定义 ( 见 附录 B)， 因 此 ELX] 不 存在 。 < 


5.7 期 望 的 总 结 


本 节 总 结 了 随机 变量 期 望 的 主要 结果 。 抽 象 概率 空间 {Q,R,P} 中 随机 变量 X 的 期 
望 是 : 


e[X] = | X dP) ( 勒 贝 格 积分 ) (5-51) 
其 中 P(w) 是 概率 测度 。 概 率 空间 {及 ,8B(RR) ,Fx (zx))} 中 随机 变量 X 的 期 望 是 以 下 积分 : 
E[X] 二 | zdFx(z) ( 黎 曼 -斯 蒂 尔 切 斯 积分 ) (5-52) 


其 中 工 是 被 积 函 数 ， 累 积分 布 函数 Fx(z) 是 积分 变量 。 如 果 Fx(Cz) 处 处 可 微 ， 那 么 可 以 将 
dFx (x)= fx (Ddr 代入 最 后 一 个 表达 式 ， 表 示 成 普通 的 黎 曼 积分 : 


E[X] =|" zfx(z)dz HERA) (5-53) 


其 中 fx(z) 是 概率 密度 函数 ( 且 zx (Cz) 是 被 积 函 数 )。 如 果 狄 拉克 ó 函数 可 以 表示 概率 密 
度 函数 ， 该 结果 可 以 用 于 离散 随机 变量 (以 及 混合 随机 变量 ) 。 概 率 质 量 函 数 为 px[zj] 的 离 
散 随 机 变量 ， 期 望 的 计算 方法 如 下 : í 


ELX] =] < > px[ =, J6(z — x, )dx = Dy xpx[zo] (无 限 和 ) (5-54) 


=—ə 


这 里 利用 了 狄 拉克 ó 函数 的 筛选 特性 。 本 书 的 后 续 部 分 ， 会 用 到 式 (5-53) 和 式 (5-54) 中 的 
表达 式 。 可 以 将 这 些 结果 推广 到 随机 变量 X 函数 的 期 望 以 及 随机 向 量 函 数 的 期 望 (本 章 稍 
后 将 讨论 ) 。 

最 后 ， 注 意 到 当 计 算 多 个 随机 变量 的 期 望 时 ， 有 时 搞 不 清 究竟 使 用 哪个 随机 变量 的 分 
布 。 出 于 这 一 点 ， 我 们 可 以 更 确切 地 将 X 的 期 望 记 为 Ex[Lzj， 其 中 下 标 表 示 求 和 或 积分 是 
针对 X 的 概率 质量 函数 或 概率 密度 函数 。 下 标 符号 在 后 面 的 条 件 期 望 中 将 特别 有 用 。 当 
使 用 的 分 布 显而易见 时 ， 可 以 利用 速记 符号 ELXJ 简 化 表达 式 。 
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5.8 均值 的 函数 观点 


期 望 ELX] 也 称 随机 变量 X 的 均值 : 它 是 概率 密度 函数 中 心 和 位 置 的 一 个 测度 。 通 过 
将 均值 看 成 两 个 函数 乘积 的 面积 ， 有 利于 更 加 深入 地 研究 它 。 观 察 到 式 (5-53) 中 的 被 积 函 
数 是 概率 密度 函数 fx (x)( 当 然 总 是 非 负 的 ) 与 zx( 关 于 原点 是 奇 函数 ) 的 乘积 。 令 fx (cd 
参数 全 二 0，o 二 1}) 的 标准 高 斯 概率 密度 函数 。 图 5-4a HM T r, fx DURE 
[一 5c,5c] 时 二 者 的 乘积 。 由 于 g(z)=<x 是 奇 函 数 ， 当 zx 二 0 时 ， 它 翻转 了 乘积 xfx(x) 中 
的 fx(x)。 当 对 结果 进行 积分 时 ，xzfx (zx) 的 正 负 区 域 相互 抵消 。 当 jp 二 0 时， 由 于 fx(=) 
是 关于 原点 的 偶 函 数 ， 正 负 区 域 完全 抵消 。 我 们 也 可 以 将 乘积 的 累积 区 域 记 作 : 


A(x) af 地 (5255) 


Z 在 jx(Cz) 的 定义 域 中 可 变 。( 通 过 将 工作 为 fx(Cz) 的 权 值 ，AGCz) 可 以 看 作 加 权 后 的 “累积 
分 布 函 数 ”。) 显 然 ，ELX] 二 limA(zx)。 


图 5-4b 给 出 了 jx 二 1， 将 高 斯 概率 密度 函数 右 移 的 结果 。 在 这 种 情况 下 ，xzfx(z) 的 正 
负 区 域 没有 完全 抵消 ， 这 是 由 于 概率 密度 函数 进行 了 右 移 ， 整 体面 积 是 正 的 。 于 是 我 们 看 
到 ， 通 过 将 fx(zx) 乘 以 通过 z 轴 原点 的 函数 ， 乘 积 zfx (xz) 可 以 反映 fx (z) 相 对 于 原点 的 
位 置 。 图 5-5 给 出 了 指数 随机 变量 的 类 似 结果 ,在 x 二 0 时 随机 变量 为 0， 因 此 累积 面积 
A(z) 不 会 是 负 值 。 


FAX), x xtX), A(x) 
fax), XXX), A(x) 





图 5-4 均值 的 函数 观点 ， 给 出 了 高 斯 概率 密度 函数 的 fx (xz),，z,， zfx(z) 和 A(x)。 
a) p=0, o=1; b) =i, o=1 


£,4x),X,X4,4x), A(x) 





a) b) 
图 5-5 均值 的 函数 观点 ， 给 出 了 指数 概率 密度 函数 的 fx Ca), z, fx (x) MM AG). a) A=2; b) A=1 
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从 这 个 函数 观点 观察 到 的 一 个 重要 特征 是 ， 当 六 (z) 乘 以 5Cz) 一 工 并 且 积 分 后 ， 更 多 
地 关注 大 的 z 值 。 此 性 质 解释 了 为 什么 柯 西 概率 密度 函数 具有 “ 重 尾 ”但 是 没有 均值 (没有 
定义 它 )。 将 乘积 zfx (xz) 简单 地 看 作 一 个 函数 并 积分 ， 概 率 密度 函数 中 心 两 侧 的 区 域 可 能 
不 是 有 限 的 ， 而 这 正好 对 应 柯 西 概率 密度 函数 的 情况 。fx (zx) 的 重 尾 容许 大 的 z 值 (通过 
函数 g(xz) 王 x) 主导; fx (xz) 的 衰减 速度 没有 |z| 增 大 的 速度 快 。 用 类 推 的 方法 ， 这 种 特点 
类 似 于 不 收敛 的 无 穷 级 数 。 因 此 ， 即 使 柯 西 概率 密度 函数 上 确实 有 一 个 中 心 点 (由 中 位 数 
和 众 数 给 定 ) ， 由 于 前 面 提 到 了 < 一 是 没有 定义 的 ， 因 此 均值 不 存在 。 这 个 结果 表明 ， 
奇 函 数 和 偶 函 数 乘积 的 积分 不 一 定 是 0。 

从 这 个 函数 观点 我 们 得 出 结论 ， 奇 函数 提供 了 分 布 中 心 的 一 个 测度 。 这 方面 的 例子 包 
括 所 有 竹 次 是 奇数 的 高 阶 矩 ， 如 ELX ]，ELX j] 等 。 后 面 我 们 使 用 一 个 类 似 的 函数 描述 来 
解释 为 什么 方差 (二 阶 中 心 矩 ) 是 分 布 宽度 的 测度 。 


5.9 期 望 的 性 质 


期 望 的 下 列 性 质 适 用 于 离散 、 连 续 和 混合 随机 变量 。 
@ 指示 元 数 ”指示 函数 的 期 望 是 一 个 概率 : 
MY eg Was K < b (5-56) 
很 容易 得 出 : 
lis Iran (Ff) dz = [Gd = Fx(6y— Fy (a) (5-57) 


其 中 ，Fx (xz) 是 fx) k BAD fi RR 

e 线性 ”期望 是 线性 算 子 : 

ELaX +b6Y] = a ELX] +b ELY] (5-58) 
其 中 (a,b) 是 常 系数 。 

e@ 非 负 如 果 X 是 非 负 的 ， 即 PCX<0)=0, MAW fx(z=)2>0, MUELX]>S0. 

o 对 称 性 ”如 果 存 在 一 个 y 值 ， 使 得 概率 密度 函数 关于 jy 对 称 ， 则 / 是 预期 的 值 ( 均 
值 )。 高 斯 随机 变量 对 应 这 种 情况 。 然 而 对 某 些 分 布 ， 比 如 前 面 提 到 的 柯 西 随机 变 
量 ， 此 结论 不 成 立 ， 因 为 其 积分 在 每 个 积分 限 都 不 是 有 限 值 。 

o 独立 性 ”如果 (X, Xn) 是 独立 的 随机 变量 ， 那 么 : 


EX XK] = FEC (5-59) 
这 是 因为 联合 概率 可 以 写成 边缘 概率 密度 函数 的 乘积 : 
ë[ X, gins An] =| fon EE E E A (x, haku syTN ) dz; °** dzsN 


N oo 
=l} Taf x, (x, dx, (5-60) 
p= e 
e 不 等 性 ”如果 几乎 肯定 X<Y, MA 
ée[x]< é[y] (5-61) 


一 个 简单 的 例子 是 Y= |X| 。 几 乎 肯定 意味 着 除了 具有 零 概率 的 个 别 点 外 ( 见 第 2 章 )， 
没有 X 的 值 超过 对 应 的 Y 值 。 如 果 y 是 fy(y) 定 义 域 内 的 最 小 值 ， 那么 
ELX] =|" zfx(z)dz <| y.fx(ode = y, < ELY] (5-62) 
由 最 后 一 个 性 质 得 出 以 下 定理 。 
定理 5-2 对 于 一 般 随 机 变量 X 
ELX] < le[xJ|< ELIX] (5-63) 


第 5 章 MD fo 


EB: 第 一 个 不 等 式 是 显而易见 的 。 对 于 第 二 个 不 等 式 
ED 和 | zfxcoldz= | lzlfr(z)dz = ECIX (5-64) 


因为 对 所 有 xz，fx(z) 非 负 。 该 结果 也 可 以 通过 式 (5-61) 中 的 不 等 式 性 质 得 到 ， 其 中 Y= 
|X|, BeBe X<|X|, —X<|X]. 
定理 5-3 对 于 非 负 连续 随机 变量 X 


ECX] =| PX > az (5-65) 
对 于 非 负 离散 随机 变量 义 
E[X] = SIP(X Sn) (5-66) 
n=1 


EP RAM ?一 1( 不 是 ?一 0) 开 始 。 
证 明 : 这 里 仅 提供 连续 情况 的 证 明 。 代 和 人 概率 密度 函数 ， 得 到 : 
| PX > odz =| [| frodo az (5-67) 
图 5-6a 给 出 了 X -YY 平 面 的 积分 区 域 ( 阴 影 部 分 ) 。 先 关于 工 进 行 积分 ， 需 要 改变 积分 
限 以 进行 水 平 积分 ， 如 图 5-6b 所 示 。 这 里 给 出 的 是 对 一 个 常数 进行 内 积分 : 


| Pex = side =|" [| fdz | do = |, frw | az Jao 


=|" uf Codo = ELX] | (5-68) 





图 5-6 式 (5-67) 的 积分 区 域 。a) 先 关 于 wv 进行 垂直 积分 ; b) 先 关 于 工 进行 水 平 积分 


离散 情况 的 证 明 要 求 交换 两 个 求 和 的 顺序 (见习 题 5-7) 。 
e 马尔 可 夫 不 等 式 (5-67) 与 马尔 可 夫 不 等 式 有 关 ( 见 附录 F): 


PUXS x)= ELX å I (5-69) 
其 中 zo 二 0 是 常数 。 
考虑 具有 以 下 累积 分 布 函 数 的 指数 随机 变量 X 
Fx(z) = [1 — exp(— Ar) JIrt (z) (5-70) 


AT3E£ H 3 E, POIX>z2)=P(X>z)( T| JAER TARF, 它们 都 等 于 1 一 
Fx(z)), 从 而 
P(X > x) = exp(— Ar) (5-71) 
HAXE, AXS-65) TASH: 


EEX] = | exp ax de = (—1/a)exp(—ar) |" =1/a (5-72) 


直接 计算 ELX] 要 像 例 5-8 MHRADMRD. J A (5-67) E Ju ñ 2, HAPE) 
可 看 做 一 个 积分 ， 并 可 通过 累积 分 布 函 数 得 到 。 < 
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对 于 具有 以 下 累积 分 布 函 数 的 几何 随机 变量 六 


Fx (zx) = (1—g™')Izt [zJ (5-73) 
期 望 是 : 
ELX] =D) PX >n) = DPD PX m] 
=P — Ptah (5-74) 
代入 累积 分 布 函 数 并 使 用 附录 中 给 出 的 无 穷 级 数 的 结果 ， 得 出 ， 
LX] = +0 X —1=1/⁄/(1—q —1= q/p (5-75) 


这 是 例 5- cit ELK NAM. eee 因为 PXS 里 有 等 号 ， 我 们 需要 包 
含 妈 处 的 概率 质量 ( 式 (5-74) 的 最 后 一 行 )。 溅 去 包含 等 号 的 累积 分 布 函数 ， 再 将 pq” 加 入 
RAK. n=0 "La ASS Tek 因为 要 保证 求 和 从 0 开始 以 及 得 到 无 限 和 
的 闭合 表达 式 。 < 


5.10 函数 的 期 望 


随机 变量 X 的 函数 YY 一 85(CX) 的 期 望 可 以 由 两 种 方式 计算 : (i) 推导 概率 密度 函数 
fy(y) 后 计算 Ey(y); (i 7 直接 基于 fx(zx) 计 算 ExLg(X)]。 在 下 面 的 定理 中 ， 我 们 证 明了 
这 两 种 方法 是 等 价 的 。 

定理 5-4 随机 变量 XX 的 函数 了 一 g(X) 的 期 望 是 : 


ELY] = £x| g(X) ] (5-76) 
: (离散 随机 变量 ) 证 明 直接 利用 了 X 到 YY 的 映射 过 程 
Er[Y] = = ypr[y] = Sis 2 Px[z] (5-77) 


y=—e r; 


内 求 和 利用 了 映射 到 y 的 所 有 x 值 (以 及 相应 的 概率 质量 )。 这 两 个 求 和 与 对 g(z) 的 
所 有 可 能 值 用 pxLxj] 进 行 加 权 的 单一 求 和 相等 : 


Py y a priz] = E g(z)px[z] = Ex[g(X)] (5-78) 
(连续 随机 变量 ) 假 设 5CX) 是 单调 递增 的 ， 其 中 每 个 z+ 映射 到 唯一 的 y。 从 而 : 
Hys DEZES = F afi 1(y)) É ae G) | dy (5-79) 


RA y=g(z)#lz=zg '(y), Bu: 
e DY J = É ECX) fs (zx) be |dy = lit g(x) fx(a)dax = Ex[g(X)] (5-80) 


其 中 单调 递增 函数 的 dz/dy>>0, 更 通用 丽 数 的 方法 与 第 4 章 随 机 变量 变换 使 用 的 方法 
相同 。 

W X E£ (umo) 的 高 斯 随机 变量 。 从 第 4 BTM, Y=g(X)=exp(X) 
是 相同 参数 的 对 数 正 态 分 布 。 关 于 X 计算 期 望 : 


gx[e(X5] =|" exptz) 





š exp(— (x— p)’/20") dx 
To 


1 J: 2/92 
一 exp(x — (2 — o /20* dx (5-81) 
tad) 


M 46 3 38 KAPHA BB. 4E: 


1 f 
eel = | exp(—(le—ti tent 2 6. Fo 4 22P rae (5-825 
` Vno == ° Š 
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提出 常数 项 ， 得 出 : 
Ex[gCX)] =explu +072) š | exp (r= (a aty /20" dd 
my 
=exp(p + 2 /2) (5-83) 


因为 被 积 函数 是 参数 为 {J 十 oo，o} 的 高 斯 概率 密度 函数 ， 最 后 一 个 积分 值 等 于 1。 这 个 结 
果 可 以 通过 直接 计算 对 数 正 态 概率 密度 函数 的 均值 进行 验证 ， 








ELY] =|" -yexp( 一 Cn) — 772 dy 
y no 
=l. exp(z)exp(— (z —p)*/20*)da = £x[g(X)] (5-84) 
te Yr 
这 里 dy=exp(x)dz FIAT RHr=In(y), MMARAR EA {—c,00}, < 
5.11 特征 函数 


特征 函数 是 随机 变量 一 个 特定 复 函 数 的 期 望 。 在 系统 地 确定 随机 变量 挎 和 变量 函数 
(如 第 4 章 中 两 个 独立 随机 变量 的 总 和 ) 时 ， 它 是 非常 有 用 的 。 
定义 (特征 函数 ) 随机 变量 X 的 特征 函数 (Characteristic Function, CF)#; 
Px (w) 全 ELexp(jwX )] (5-85) 
其 中 j= = À, w € [0,2x]. 
将 g(X) =exp(joX) FLAK (5-80), BH: 


Pro) 一 | f(x exp Gur de (5-86) 


它 类 似 于 概率 密度 函数 的 傅 里 叶 变 换 ( 指 数 符号 为 正 ， 而 不 是 通常 傅 里 叶 变 换 定义 里 的 
负 )。 像 傅 里 叶 变换 那样 ， 下 列 条 件 是 fx (xz) 的 Bx (w) 存 在 的 充分 条 件 : 

e 不 连续 点 的 数目 有 限 。 

e 变化 有 限 ( 见 附录 B). 

e 绝对 可 积 : 

lig | fx (x) | dz < œ (5-87) 

需要 注意 的 是 附录 A 总 结 的 分 布 都 有 特征 函数 (甚至 柯 西 ) ， 因 为 有 些 分 布 的 特征 函数 

很 复杂 ， 这 里 没有 给 出 。 


令 (Xir Xn) 是 独立 的 随机 变量 ， 其 概率 密度 函数 可 以 是 任意 的 。 这 些 随机 变量 总 
和 的 特征 函数 可 以 写 为 乘积 的 形式 ， 


Dx, 44x, (w) = Elexp liw) Xe) ]= E| [LexpGaX.)] (5-88) 

计算 期 望 值 最 初 利用 了 {X,} 的 联合 概率 密度 。 由 于 随机 变量 独立 ， 联 合 概率 密度 函数 
可 以 写成 N 个 边缘 概率 密度 函数 乘积 的 形式 ， 得 到 : 

Dx, ttx (w) = ll ELexp(jwX,)] = He, (w) (5-89) 


其 中 乘积 中 的 第 n 338 5 X, 的 概率 密度 函数 有 关 。 
下 面 的 定理 描述 了 特征 函数 矩 的 矩 母性 质 ( 本 章 稍 后 将 介绍 高 阶 矩 ) 。 
定理 5-5 利用 特征 函数 生成 随机 变量 X Oh ak Ps RI) EH kT 
EL[X"] = i" Eak w) lano (5-90) 
: (功率 级 数 法 ) 利 用 指数 信号 的 麦克 劳 林 级 数 展开 指数 信号 ( 见 附 录 E), 148): 


GaX)? GaX)® | GX“ | 
edar i Lee tep XD y GO +] GOD 
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使 用 等 式 : 
dGx(o) _ d'Bx(w) 
dw" dGw)” 





(= 
sell iain k Obrien ot 
Cw) = ELX E ja X + (1/2) Gao)? KM? Ho] 


d(jw)" 
将 w==0 代入 后 ， 得 到 以 下 结果 ， 除 了 与 w 无 关 的 第 一 项 外 ， 其 余 项 消去 : 
ee (w) | 一 ELX" 十 0 十 …] 一 ELX"] 


(定义 法 ) 也 可 以 通过 特征 函数 的 定义 : 
i ELexp(jwX ) ] be =| IG xP Gest Fx Cada | 6 
=| xrexp ue) fx (x) de | 
在 w=0 处 消去 表达 式 积分 项 里 的 指数 部 分 ， 得 到 : 
re[exp(iox)]| ,=| zy7xCoDdz=eLX] 
定理 得 证 。 


(5-92) 


(5-93) 


(5-94) 


(5-95) 


(5-96) 


该 定理 还 表明 ， 随 机 变量 的 矩 共同 描述 了 概率 密度 函数 : A A ok t 6 TW 


率 密度 函数 相同 的 “信息 ”。 
RE) 指数 随机 变量 的 特征 函数 为 : 


Dx (w) =| pr ey eee 
0 











A g x? Late pty 
=) exp( 一 工 (人 一 jw))dz i= (5-97) < 
一 阶 矩 (均值 ) 的 计算 方法 如 下 : 
ET Daa ih A de | 
EXT = 405 P=: rr P n (5-98) 
二 项 随机 变量 的 特征 函数 为 : 
sat (~) 
Dx (jw) =| Hh jprgsmexp(jur)8(z 一 mdz 
N 
= epee (5-99) 
其 中 g 会 1 一 p,， r=n 处 的 狄 拉 克 6 函数 导致 exp(jwx) 积 分 后 为 exp(jwn)。 使 用 二 项 式 
AR, 
N 
(z+ y)" = x (amy (5-100) 
n=0 ‘71 
可 以 得 到 : 
Px (jo) = q`[1 + (p/q)exp(je) ]" = [q + pexp(je) J^ (5-101) 
z ko wara 
5 下 = Told + Pexp(je) ]" |.=, = N[q + pexp(jw) ]™' pexp(je) | a= = Np 
(5-102) 


代入 w 一 0 后 ， 中 括号 里 的 值 为 q p=1. 


注意 因为 类 似 于 离散 时 间 序列 的 离散 时 间 伟 里 叶 变 换 (DTFT) ， 高 散 概率 质量 函数 的 


Bx (jw) 参 数 中 包括 了 j。 写 成 概率 质量 函数 的 形式 如 下 : 
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Bx (jw) = >) px[n]exp(jen) (5-103) 


3) 柯 西 概率 密度 函数 的 特征 函数 为 : 


3o 


Dy Cw) >f 





一 exp(joc ) + ets osu de (5-104) 
nJ- v +a 

这 里 将 第 二 个 表达 式 的 变量 变 成 一 工 一 c。 从 表 中 的 传 里 叶 变 换 对 ( 见 附录 C) 得 到 积分 ( 包 

括 因子 1/2x) 等 于 exp( 二 alw|)。 因 此 ， 虽 然 柯 西 随机 变量 的 矩 不 存在 或 是 无 限 的 ， 但 它 

有 特征 函数 : 





Bx (w) = exp(jec —a lw |) (5-105) 
对 于 均值 : 
ELX] = exp jor 一 xl|w|)|。-=。 

= (jwe — ala DexpGjwe — ala |) (e—a ZPL) | nc (5-106) 
其 中 代入 了 |w| 三 iw|。 由 于 没有 定义 w= 二 0 处 的 绝对 值 的 导数 ， 因 此 均值 E[X] 不 存在 。 
我 们 在 随机 向 量 的 多 元 特征 函数 的 定义 中 结束 本 节 。 < 

定义 (多 元 特征 函数 ) 多 元 特征 函数 是 下 列 联合 期 望 : 
Bx(@) £Ex[exp(ja' X) | (5-107) 


HP K=[Xi oe Xv)". @ = Larson ]' MBRAM X HRKRSMEF RBH, 
Mm 均值 向 量 为 hw， 协 方差 矩阵 为 Cxx 的 多 元 高 斯 随机 变量 的 特征 函数 为 : 
Gomez |. | ep (1/2)(x— py "Cox (x — 1)) 
* exp(j@'x)dzx,-+dzy (5-108) 
可 以 看 出 Dx Co) ty A AAW MY A 中 单个 高 斯 随机 变量 的 特征 函数 (见习 题 5-42)。 
它 由 下 式 给 出 : 





Dx (@) = 


®y(@) = exp(ja' py, — (1/2)@'Cyx@ ) (5-109) < 
DARPA Z 一 X 十 Y， 其 中 X 和 了 是 独立 随机 变量 ， 则 Z 的 特征 函数 为 : 
Bz(w) = €£xv[exp(je(X + Y))] 





=| | exptiar exp uy) fxr (x,y)dzdy (5-110) 
由 于 X 和 Y 是 独立 的 ， fx,r (z, y)=fx(r)fy(y), Aik: 
Bz(w) = ExLexp(jwX ) ] EyLexp(jwY) | = Bx (w) By (o) (5-111) 


利用 传 里 叶 变 换 的 性 质 ， 我 们 知道 频 域 相 乘 对 应 时 域 卷 积 。 由 于 特征 函数 的 逆 变 换 是 
概率 密度 函数 ， 我 们 得 到 fz(z) 三 fx(zx)x fy(y)， 这 与 第 4 章 中 利用 变换 方法 得 到 的 结果 
相同 。 习 题 5-18 考虑 了 随机 变量 的 差 Z 一 X 一 Y。 < 


5.12 RERE 


第 2 章 介 绍 了 抽象 概率 空间 {2, 大 ,P} 中 事件 A 和 B 的 条 件 概率 ， 讨 论 了 以 事件 B 为 
条 件 是 如 何 简化 事件 A 的 样本 空间 。 即 





_ PCAB) y 
P(A|B) = PCB (5-112) 
假设 P(B)Z0, FEB 3 章 ， 我 们 认为 条 件 概率 密度 函数 的 形式 类 似 式 (5-112): 
y(z,y) izy) 
frlv(zly) = fr, fija (ylz) = Steu (5-113) 


183 
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条 件 概率 质量 函数 也 是 如 此 。 条 件 期 望 ， 也 就 是 所 谓 的 条 件 均 值 ， 其 形式 与 上 述 表 达 式 类 似 。 
定义 (条 件 期 望 ) 给 定 随机 变量 Y 一 > 时， 随机 变量 X 的 条 件 期 望 为 : 


#[K|Y = Jaf af x|y(x|y)da (5-114) 


WFELX|Y=ylA—-+ y 的 非 随机 函数 ， 因 此 可 以 写成 E[X|Y 一 J] 一 5(y)。 随 机 变 
量 了 的 条 件 期 望 本 身 是 一 个 随机 变量 ， 因 为 它 是 了 的 函数 : EL[X1Y]=g(y)。 可 以 先 将 
EL[XIY 二 y]= 二 g(y) 看 成 y 的 函数 ， 然 后 将 y 替换 成 YY， 得 到 E[X|1Y]。 结 果 Z 全 g(Y) 是 一 
个 随机 变量 ， 其 分 布 fz(z) 通 过 对 fy(y) 进 行 适当 的 变换 得 到 。 考 虑 一 个 能 说 明 两 种 条 件 
期 望 的 区 别 的 一 个 简单 例子 。 

GEID 令 Y 一 X+TV， 其 中 和 是 对 称 的 伯 努 利 随 机 变量 ， 等 概率 取 士 1， 亿 是 参数 {/ 一 
0，a} 的 高 斯 分 布 。 例 4-15 中 给 出 了 YY 的 概率 密度 函数 ， 以 及 给 定义 二 土 ] 时 Y 的 条 件 概率 
密度 函数 。 利 用 X 一 1 时 的 条 件 概 率 密度 函数 得 到 : 


ely |X =1]=| yfylxy|Ddy 


= 1 yexp( 一 (y 一 1)?/2oz)dy = 1 (5-115) 
NV EKO 

因为 X=1 时 YY 的 条 件 概率 密度 函数 是 均值 为 1 的 高 斯 分 布 ， 很 容易 得 到 士 述 结果 。 
类 似 的 ，X= 一 1 时 Y 的 条 件 概率 密度 函数 是 均值 为 一 1 的 高 斯 分 布 。 接 下 来 将 以 随机 变 
量 久 为 条 件 。 根 据 前 面 的 结果 ， 很 容易 得 出 E[XIY= 二 x]= 二 zx， 从 而 


E[YIX]=X (5-116) 
现在 假设 V 的 均值 是 jw,。 然 后 直接 得 出 E[Y|X=1] 二 py 十 1，E[Y|X= 一 1 二 jw 一 1， 从 而 : 
E[Y|X] =, + X (5-117) < 

GED 考虑 以 下 随机 变量 的 和 ， 
Y= ER (5-118) 


其 中 {X ,是 独立 同 分 布 (iid) 的 伯 努 利 随机 变量 ， 每 个 参数 都 为 P. et E FEN 
正 的 离散 随机 变量 。 如 果 固 定 N 二 n， 那 么 Y 的 概率 密度 函数 是 参数 为 (np) 的 二 项 分 布 。 


EYIN =n] = nb (5-119) 

它 是 一 个 常数 ， 而 
ELY|N] = Np (5-120) 
它 是 一 个 随机 变量 。 4 


GED 假设 利用 第 二 个 随机 变量 X 的 函数 估计 随机 变量 Y。 该 方法 与 第 9 章 介 绍 的 
估计 理论 有 关 。 用 立 表 示 了 的 估计 ， 并 假定 六 =g(X)。 性 能 指标 (代价 函数 ) 采 用 均 方 误差 
(CMSE) ， 其 期 望 利 用 了 X 和 了 的 联合 概率 密度 , 


ELY- eX] =| | yea fxv(z,y)dzdy 
=| | [s—zGDPfv|xC(y|z)feG)dedy — 6-12) 
将 式 (5- 二 8(y) 进 行 微分 ， 得 到 : 
ss EY a0 =—2| | [y—zGO16/|xGylz) fe Godzdy (5-122) 
令 结 果 等 于 0 得 到 : 
| Af rrlxGlz)daydz=| frea felxCylz)dydz 


=| fx) g(wde (5-123) 


第 5 章 MAp 


其 中 等 式 右边 第 二 个 关于 y 的 积分 等 于 1。 该 等 式 对 所 有 工 成 立 ， 而 且 由 于 fx~D0, FF: 


g(x) = | yfylx(ylz)dy = ELYIX = 7 | (5-124) 
最 后 ， 由 于 X 是 一 个 随机 变量 ， 可 以 写成 : 
Y=g(X) = e[ Y | X 7 (5-125) 


这 也 是 一 个 随机 变量 。 给 定 X 时 了 的 最 小 均 方 误差 (MMSE) 估 计 称 为 条 件 均值 估计 器 。 < 
5.13 条 件 期 望 的 性 质 


接 下 来 ， 我 们 给 出 条 件 期 望 的 几 个 性 质 ， 其 中 许多 性 质 是 普通 期 望 的 直接 推广 。 
@ 线性 ”对 于 常数 4a, DER, 
€[aX, +bX,|YJ]J = a £[X, |Y] b €[X; |Y] (5-126) 
从 期 望 的 定义 很 容易 得 到 该 结果 。 
e 独立 性 ”对 于 独立 的 X 和 了 ， 
ELY |X] = ey] (5-127) 
由 于 对 于 每 个 工 都 有 frlxzCylz) 一 广 (>)， 条 件 期 望 可 以 简化 为 : 


SY X=] F sfr ledy = | yfr Wdy =” g[ |" S128) 
o 条 件 变量 的 函数 对 于 了 的 函数 g(Y)， 有 以 下 三 个 结果 : 


ELe(Y) |Y] =g(Y) (5-129) 
e[Xe(Y) lY] =g) EL[XIY] ` (5-130) 
ELX|Y,¢(Y)] =£[X|Y] (5-131) 
式 (5-129) 直 觉 上 容易 被 接受 ， 但 要 首先 通过 下 列 条 件 累 积分 布 函 数 进 行 推导 : 


l, y> yo 
0, yoyo 

= uly— y) (5-132) 
其 中 x(y) 是 单位 阶 牙 函数 。 该 结果 是 有 效 的 ， 且 边缘 概率 密度 函数 A (HK. KF y jË 
行 微 分 得 到 移 位 的 狄 拉克 ó 函数 6(y 一 yo)， 并 且 


ELEY |Y = y] = | g(s08y— dy = g6) (5-133) 
由 于 式 (5-133) 对 所 有 Y 值 都 成 立 ， 我 们 得 到 式 (5-129) 的 结果 。 类 似 式 (5-130) 的 结果 
P(X<=|Y= y), y> yx 
0, y < y 


=P(X < z=|Y = yo )u(y— yo) (5-134) 
Rf z Al y 微分 得 到 fx|y(z|yo)68(y 一 yo)， 因 此 : 


ELXg (YD |Y = y] = 上 B zg(y)fx|v(z|y )ó(y— yo )dzdy 


Par y|Y £= s = | 


P(X< Y < y|Y = y) =| 


=g(y) ELX|Y = y] (5-135) 
该 结果 适用 于 所 有 的 了 值 ， 式 (5-130) 的 结果 由 条 件 期 望 的 因子 分 解 性 质 得 证 。 式 (5-131) 
的 性 质 里 ，g(Y) 未 能 提供 超出 Y 本 身 能 够 给 出 的 更 多 信息 ; 事实 上 ， 如 果 el ) 不 是 一 对 
一 的 ， 它 包含 的 信息 少 于 Y。 因 此 累积 分 布 函数 与 式 (5-134) 相 同 : 
P(X < z|Y = y,+g0Y) = g(y)) = POX K al Y = y u(y— yw) (5-136) 
使 得 : 


ELX|Y = yrg(Y) = 8639)] =| | zfxlyCzlyo)80y 一 dzdy 
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SEEN EE y] (5-137) 
式 (5-131) 得 证 。 
e 两 个 变量 的 谱 套 期 望 ”对 于 随机 变量 X 和 Y， 
ELELX|Y]] = ELX] (5-138) 
外 期 望 是 关于 Y 的 : 


e[E[XI7 了 ] =| fr ELXIY= ylas = | oo zyrxlvczly)dzdy 


Ë | xfxr(z,y)drdy = | af x(x)dx = ELX] (5-139) 


其 中 利用 了 式 (5-113)。 该 证 明 表 明 ， 像 式 (5-139) 第 一 行 写 的 那样 ， 随 机 变量 
ELXIZY 可 以 写成 只 关于 特定 值 Y 王 y 的 积分 。 
对 例 5-19 中 给 定 的 条 件 ， 从 式 (5-120) 得 出 : 
ECY] = Ex[E[YIN]] = EÙNp] = ECN]p (5-140) 
其 中 p=ELX, 1. FAKEMS, D 2|3img[Y]E R 8 EH, T Æ A a ELE Q EE ABR. 
由 于 我 们 感 兴趣 的 只 是 随机 变量 Y 的 期 望 ， 因 此 没有 必要 计算 {Xw} 和 N 的 联合 概率 。 a 
e 正 交 性 对 于 随机 变量 X. Y 和 任意 函数 g(，): 
EL[(X—éELX|Y]))g(Y)] =0 (5-141) 
在 该 式 中 ，E[XIY] 可 以 看 作 给 定 观测 值 Y BF X 的 估计 (前 面 提 到 过 )， 从 而 五 会 
X 一 EL[X|Y] 是 一 个 “误差 ”随机 变量 。 
上 述 正 交 原 理 表明 ， 该 误差 和 了 的 任意 函数 是 正 交 的 ;ELEg(Y)]= 二 0。 随 机 变量 的 正 
交 性 在 本 章 稍 后 将 再 次 讨论 。 重 新 排列 表达 式 得 到 : 


E[Xg(Y)] = [ELXg (Y) |Y]] (5-142) 
这 里 我 们 利用 了 式 (5-130) 的 因子 分 解 性 质 ( 反 过 来 用 )。 考 虑 Y 一 y 的 内 期 望 : 
ELX) |Y = y]= | zzG)fe|vC(z|y)dz (5-143) 


式 (5-142) 右 侧 的 外 期 望 为 : 
F ROS zeo5fevCe|syazas = | | aeo) frrteydzdy (5-144) 


这 是 式 (5-142) 的 左边 。 从 式 (5-144) 观 察 到 式 (5-142) 右 侧 的 内 期 望 是 关于 XY 二 y 的 ， 外 
期 望 是 关于 Y 的， 而 左 侧 的 期 望 是 关于 X MY 的 联合 概率 密度 的 。 因 此 ， 需 要 注意 如 何 
理解 和 计算 期 望 ， 如 式 (5-141) 的 外 期 望 就 涉及 多 项 的 组 合 。 
考虑 以 下 期 望 : 
g[g(Y)a(X,Y)— g(Y)b(Y)] = 0 (5-145) 
该 式 类 似 于 式 (5-141), 但 函数 a(X,，Y) 取 代 了 XX， 函数 5(Y) 取 代 了 ELX1Y]。 它 表明 如 
果 式 (5-145) 中 的 条 件 适用 于 任何 函数 g(Y)， 则 5(Y) 一 定 是 第 一 项 的 条 件 期 望 乘 以 g(Y)， 
也 就 是 b(Y) = g[a(X,Y)|Y], 这 是 一 个 有 用 的 结论 ， 因 为 它 可 以 得 出 期 望 的 等 价 计算 ， 
具体 方法 是 将 式 (5-145) 按 以 下 方式 重新 排列 (Larson 和 Shubert, 1979): 
g[g(Y)a(X,Y)] = ELg(Y)b(Y)] (5-146) 
一 般 情况 下 ， 尽 管 该 期 望 等 式 适 用 于 任何 g(Y) 函 数 ， 但 不 能 得 出 a(X,Y) Mo) +E 
等 ; 只 能 说 5(Y) = £[a(X,Y)|Y] 是 条 件 期 望 。 然 而 ， 如 果 a(X,Y) 一 a(Y) HR E Y HM 
数 ， 那 么 由 式 (5-129) 的 性 质 可 以 得 出 CY) =ELa(Y) |Y]=alY). 
FP) 这 里 举例 说 明 如 何 利用 上 述 结论 再 次 证 明 因 子 分 解 性 质 。 通 过 将 式 (5-141) 
中 的 gC(Y) 乘 以 h(Y)， 我 们 可 以 将 式 (5-130) 的 左 侧 写成 以 下 期 望 : 
ELXg(Y)ACY)] = ELELXg (Y) |Y]acy) ] (5-147) 
该 结论 适用 于 任何 h(Y)。 接 下 来 ， 定义 c(Y) 会 g(Y)h(y),， 它 同样 是 Y 的 函数 。 利 用 
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A (5-141) BH, MEER c(Y)=g(Y)h(Y): 

EL Xe(Y)] = EELA EY Jacyy]:= eLELX|Y]g(Macy)] (5-148) 
由 于 g(Y) 是 给 定 的 ， 上 式 也 适用 于 任意 h(Y)。 式 (5-147) 与 式 (5-148) 的 左 侧 相 同 ， 通过 右 
侧 得 到 : 

EelélXg(Y) |YJacy)] = eLeLX|Y]ge(acy) ] (5-149) 
适用 于 任意 h(Y)。 因 此 ， 从 上 面 的 讨论 可 知 ， 期 望 中 乘 以 h(Y) 的 两 部 分 相等 ， 即 : 
E[Xg(Y)|Y]==E[XIYjg(Y)， 这 是 因子 分 解 性 质 。 

正 交 原理 是 MSE 估计 理论 中 使 用 的 一 个 重要 性 质 ， 第 11 和 12 章 将 介绍 更 多 正 交 原 
理 的 细节 。 
e° 三 个 变量 的 吝 套 期 望 对 于 随机 变量 X、Y AZ, 
£v|z[£x[v.zEX YGZ] |Z] = £x]z[X |Z] (5-150) 
正如 之 前 所 提 到 的 ， 需 要 写 出 特定 x 值 的 条 件 期 望 : 


gv|z[£x|v.z[X|[Y,Z]|Z = z] =|" ELX|Y = 9.2 = z]fy|z (y|z)dy 


=| | aflvzzly Dfrlzyls)dydr 65-150 
重 写 每 个 条 件 概 率 密度 函数 ， 得 到 
1 lites R xirz(CZ，y9Z) < 
€v|z[£x|v.z[X|Y,Z]|Z = z] = 元 =t5| | = ore yee fy.z(ysz) dydx 
(5-152) 
两 个 概率 密度 函数 相互 抵消 ，Y 从 剩 下 的 联合 概率 密度 函数 中 积分 出 来 ， 得 到 : 


€v|z[£€x|v.z[X|Y,Z]|Z = z] = F f. af x.z (m=, z)dx 


=|" _ zfx|z z |z)dz = Ex|z[X|Z = z] (5-153) 


它 适用 于 所 有 的 >， 因 此 得 到 式 (5-150) 的 右边 表达 式 。 
先前 的 结果 一 般 适用 于 三 个 随机 变量 ,通过 适当 的 条 件 嵌 套 可 以 用 于 解决 复杂 期 望 。 
在 学 习 例 5-23 提供 的 部 分 背景 知识 后 ， 我 们 证 明了 同样 涉及 三 个 随机 变量 的 定理 ， 但 要 
求 三 个 变量 有 顺序 的 粗糙 o 域 以 得 出 有 意思 的 性 质 。 
EÐ 考虑 离散 样本 空间 IO 并 定义 两 个 c 域 ， 使 得 : 
FeO 35, (5-154) 
RERET: WF 粗略 ; Fl 33k |Z,|<|7Z,|. AE) OR PMR, PF. 的 元 
素 ( 见 第 2 章 元 素 的 讨论 ) 。 图 57% T - ET ZR ST, HPF, EP(Q IA 35 £ H 
|Z, |=64, |Z,|=1é$, 0, BR, ##)EHE|7Z,| 一 4。 显然 元 素 {F,) 没 有 元 素 {E,} 精 细 ， 因 此 
这 个 例子 满足 式 (5-154)。 定 理 5-6 将 式 (5-154) 扩 展 到 三 个 o 域 ， 以 展示 条 件 期 望 的 平滑 性 质 。 





a) 6 个 基本 事件 ( 元 素 ) b) 两 个 事件 ( 元素 ) 


图 5-7 例 5-23 PH —-PRE MAT o RTE. a) 事件 {E,} 有 6 个 结果 ， 通 过 适 集 P(Q0) 得 到 精细 
oth; b) 事件 {F,} 有 奇数 和 偶数 的 元 素 ， 通 过 {858，Q， 偶 数 ， 奇 数 } 得 到 粗糙 À bü < 
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考虑 结果 zxEZ 的 离散 随机 变量 X, x 是 o MAF, =P) (这 些 结果 的 短 集 ) 的 元 素 。 如 
果 另 一 个 离散 随机 变量 Y 的 ve FY Fx 的 一 个 子 集 ， 那 么 这 意味 着 .Fr 的 元 素 ( 结 果 y) 
是 Fx 的 元 素 ( 结 果 zx) 的 子 集 。 很 容易 想象 Y 和 X 的 多 对 一 映射 : 一 个 特定 的 y 可 以 通过 
Ba 获得 ， 而 特定 > 只 对 应 一 个 y。 图 5-7 显然 是 这 种 情况 , x = (1,2,3,4,5,6} , y= 
{偶数 ， 奇 数 }, {2,4,6) >Re, (1,3,5) 一 奇数 。 由 于 讨论 的 是 随机 变量 ， 我 们 可 以 使 用 
10,1) 代替 {偶数 ， 奇 数 }。 

定理 5-6( 平 滑 性 ) jJ X. 了 Y 和 2 是 Z 上 的 离散 随机 变量 ， 三 个 不 等 的 c 域 满足 


Frere Cc Fx (5-155) 
依次 取 条 件 了 和 Z， 与 仅 取 条 件 Z 相等 : 
€z|yL€x|yLX|Y]|Z] = €x|zlX|Z] (5-156) 
反 转 条 件 次 序 后 ， 
£v|z[£x|z[X|ZJ|YJ]J = £€x|z[X|Z] (5-157) 


观察 发 现 式 (5-156)、 式 (5-157) 中 的 条 件 期 望 是 不 对 称 的 ， 交 换 条 件 次 序 后 ， 结 果 仍 
然 是 一 个 粗糙 6 域 随机 变量 的 条 件 期 望 。 利 用 多 对 一 函数 Y 王 8g(X) 和 Z=) TA A 
足 式 (5-155) 的 随机 变量 。 因 此 ,XX 的 o 域 必然 是 三 个 随机 变量 中 最 精细 的 。 由 于 是 多 对 
一 上 映射， 不 能 将 X 写 成 和 2 的 函数 。 
证 明 : (离散 随机 变量 ) 令 Y 和 2 的 元 素 分 别 是 {y,}, n= 二 1，…，|fy| 和 {z,}，m 二 
l, «+, |Fz|. BAF thFy 粗 米 ， 证 明 的 关键 是 要 认识 到 : 
A PyLynl> y, = z, 
2 其 他 
=pyLy, Ts Lya] (5-158) 
其 中 I. )[y,] 是 离散 指标 函数 。 由 于 y, 只 与 Z 的 结果 有 关 ， 因 此 只 有 当 精 细 o 域 的 结果 
Vn 与 粗糙 域 的 特定 值 x,, 相同 时 ， 该 概率 非 零 。 因 此 : 
brlz[y lzn] = Psp — Pris Ey] (5-159) 
式 (5-156) 的 外 期 望 与 {y,} 的 所 有 结果 有 关 ， 因 此 : 
| x | 


Ey|z[Ex|y[X|y,J len] = > gx|v[X|y,Jpy|zLy,|z,j 


by.z[ y, 


T En pe paa Exly[X|y,] (5-160) 


nry, == 


假设 ce Z, 内 期 望 为 : 
Er lizis lr EXA Ja] | zn] = clea Je = eae y[z|y, JpyL y, ] 


=k Te 2 pxy [Lrry (5-161) 
同样 ， 由 于 FzCFv， amuk. Mn SF =, 9 a. 
> pxyLzx;,y, |] = px,zLx, Zm] (5-162) 


使 得 : 


£€v|z[£x|v[X|Y = y,J|Z = zn] = ate ea eee 


= is Shs ibrar fe ] = £x|z[X |Z = zn] (5-163) 


工 一 一 2 


由 于 期 望 适用 于 所 有 {y,} 和 {z,)， 所 以 可 以 将 它们 替换 为 随机 变量 Y 和 Z， 从 而 完成 了 证 明 。 
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对 于 式 (5-157) 中 的 条 件 期 望 ， 观 察 式 (5-158) RM: 


力 zly[zw lyn = Peal te tel = Pettey emi iL vel — | ny 1 (5-164) 
从 而 : | 
£ziy[extz[X zal] => brief Repay E A 
T 1225 €xiz[X |=,,] = £xiz[X |=,,] (5-165) 


H + =, (粗糙 天 z:) 只 有 一 个 元 素 与 yn 相等 ，6 因此 最 后 一 个 表达 式 的 求 和 中 只 有 一 项 非 
0。 通 过 用 Y 和 Z 取 代 y, 和 x， 得 到 了 最 后 的 结果 。 

对 包含 粗糙 条 件 元 素 的 精细 元 素 求 平均 ， 并 不 改变 原来 的 条 件 期 望 ， 因 此 式 (5-156) 
称 为 条 件 期 望 的 平滑 性 质 。 也 可 以 说 粗糙 条 件 对 精细 条 件 有 “平滑 作用。 
eee 这 个 例子 演示 了 如 何 通过 将 随机 变量 X 了 映射 到 其 他 随机 变量 ， 来 建立 粗糙 o 
域 。 考 虑 掷 融 子 试验 ， 其 中 随机 变量 X 的 结果 是 {1，2，3，4，5，6)， 每 个 结果 的 概率 
是 1/6。 最 大 的 c 域 是 P(CO) 的 客 集 ， 包 含 2 个 元 素 。 定 义 X 到 了 的 映射 : 





0 KX = 1⁄2 
vr X=3,4 (5-166) 
if. X=5,6 
Y 的 cc 域 有 23 王 8 个 元 素 ， 显 然 比 较 粗 糙 : FrCTFx。 注 意 随 机 变量 YY 有 两 种 观察 角 
E: (IIS X m K j| g F|, E c Jy 比较 粗糙 ; 〈ii ) 样 本 空间 缩小 为 ov = (0, -—1, 
1), o k 38 + Qy RERE., RIR 
趣 的 是 第 一 种 观点 : Y 具有 粗糙 go 域 。 
接 下 来 ， 定 义 从 了 到 2 的 映射 : 
0, Y=0 
BOW ty ei 
(5-167) 
其 中 FzCFY 且 只 有 2 三 4 个 元 素 : ($ 
人 2,0,1}。 图 5-8 给 出 了 从 X 到 Y,， 以 及 
J Y 2 Z ñ £ 3 RH. HAHAHA 





到 以 下 概率 密度 函数 ， 图 5-8 通过 映射 XY M YZ, AA 5-24 中 越 来 
6 越 粗 糙 的 o BR 
fx(x) 一 (1/6) >76(z— n) (5-168) 
n=1 
fry) =(1/3)[8(y+ 1) 十 8(y) +ó(y—1)] (5-169) 
fz (z) = (1/3)8(z) + (2/3)8(z— 1) i (5-170) 


为 了 验证 条 件 期 望 的 平滑 性 质 ， 首 先 计算 ELX|1Z]， 这 就 会 用 到 表 5-1 中 总 结 的 条 件 
概率 质量 函数 pxizLx|z]。 从 而 : 


6 s 
e[X|Z =0] = 2) zpxilx|0] = (1/2) K (1+2) = 3/2 (5-171) 


g[X |Z = 1) te tle 1] = (1/4) X (3 十 4 十 5 十 6) = 9/2 (5-172) 


z=1 


He 5-1 例 5-24 中 的 pxiz[x |z] 
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由 于 ELX|1Zj] 是 随机 变量 Z 的 函数 ， 根 据 以 上 结果 得 到 
ELX|Z] = 3/2 十 3Z (S-173) 
接 下 来 计算 ELELX|1Yj]|2Z]j] 以 表明 随机 变量 Y( 有 更 精细 的 o 域 ) 与 ELX12Z] 具 有 相同 的 
结果 。 表 5-2 总 结 了 条 件 概率 质量 函数 pxizLzx|y]， 因 此 内 期 望 : 


6 

g[X|Y = 0] = >) z=pxi [z |] = 1/201 +2) = 3⁄2 (5-174) 
z=1 
6 

g[X|Y =—1] = >) zpxrle|= 1] = (1/2)(3 + 4) = 7/2 (5-175) 
r=1 
6 

g[X|Y = 1) = 11zpxw [z |1J = 1/2005 +6) = 11/2 (5-176) 
a=1 


表 5-2 例 5-24 的 pxiy[Lx|y] 





上 述 结果 的 一 般 表达 式 为 : 
EL[X|Y] = 7/2 + 2sgn(Y + 1)sgn(Y — 1/2) (5-177) 
其 中 sgn( > ) 为 符号 函数 。 利 用 表 5-3 中 的 外 期 望 ， 完 成 推导 
g[g[x|YJ|Z=o]= >，(7/2 十 2sgn(y 十 1)sgn(y 一 1/2)7zviz[Ly|0] 


y=—1,0,1 


=3/2 (5-178) 
g[g[X|Y]J|Z = 1]J= >` (7/2 + 2sgn(y+ 1)sen(y —1/2)) pyizly| 1] 
y=—1,0,1 
=(1/2)(7/2+11/2) = 9/2 (5-179) 


表 5-3 G15-2489 py) z[y |z] 


PNS EE orl, ot | 
0 1 0 0 
Z= 
1 1/2 


这 与 前 面 ELX|Zj] 的 结果 相同 。 
表 5-4 总 结 了 条 件 期 望 的 各 种 性 质 。 习 题 11-14 证 明了 第 三 个 性 质 ( 独 立 性 质 2)， 该 性 质 
可 以 用 来 推导 11 章 中 的 卡尔 曼 滤波 器 。 通 过 比较 结果 ， 可 以 得 出 以 下 补充 结论 : 
e KEREL 通过 以 下 方式 得 到 : 重新 整理 正 交 性 质 ， 然 后 利用 分 解 性 质 将 g(Y) 放 
到 内 期 望 里 面 。 比 较 嵌 套 期 望 1 ARENE? 发 现 ， 前 者 可 以 看 作 将 X 替换 成 
g(Y)X 的 嵌 套 期 望 的 广义 形式 。 
e 平滑 性 质 1 可 以 通过 将 o 域 依 次 粗糙 的 条 件 代 和 人 获 套 期 望 3 得 到 。 
e 从 技术 上 看 ， 表 中 最 后 一 行 不 是 平滑 性 质 ， 因 为 内 期 望 的 条 件 也 就 是 随机 变量 Y 的 oc 域 比 X 
粗糙 。 相 反 ， 它 与 表 中 第 二 行 的 独立 性 质 “ 外 观 " 上 相同 ， 以 至 于 外 期 望 没有 产生 任何 影响 。 


表 5-4 条 件 期 望 的 性 质 












€[aXi+bX, |Y]=a ELX: | Y]+b ELX: | YJ 
ELY |X]=é[LY] 

g[x|Y, zJ=#g[x |YJ+z#[x |ZJ—z#[x1] 
éLg(Y) |YJ]=g(Y) 

g[x|Y, g(Y)J]=éELX|Y] 
ELXg(Y) |YJ]=g(Y)ELX | YJ 






Y, Zihsr, X, Y, Z 服从 联合 高 斯 分 布 
无 

x 
无 
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( 续 ) 













EL[(X—ELX | Y)e(Y) ]=0 无 
WHE 1 ELELXg(Y) | Y]]=£(Xg(Y)J 无 
fe 2 g[g[x | YJJ=ELX] 无 
WE 3 ELELX |Y, 2]|2]=E[LX|2] 无 
g[g[x |Y] | z]=z#[x |Z] FzCTFrCFx 


ELECX |Z] | Y]=e#[x |Z] FzCFYCFx 
最 后 ， 在 正 交 性 质 的 基础 上 ， 给 出 表 5-4 中 平滑 性 质 的 证 明 (Larson 和 Shubert, 
1979) 。 该 性 质 更 简单 通用 。 它 可 适用 于 连续 和 离散 随机 变量 ， 但 粗糙 和 精细 o 域 可 能 没 
有 那么 直观 。 
WEAR: 〈 任 意 随机 变量 ) 假 设 随 机 变量 依次 是 另外 变量 的 函数 来 满足 条 件 FzCFrCFx。 
首先 ， 利 用 X 和 2 的 正 交 性 质 得 到 


E[Xg(Z)] = ELELX|ZJg(2)] (5-180) 
将 等 式 两 边 的 和 替换 成 ELX12]， 得 到 : 
ELELX|IY]sg(2Z)] = £[£[£[X |YJg(Z) | ZJ] (5-181) 


这 里 利用 因子 分 解 性 质 将 等 式 右边 的 g(2Z) 放 到 了 第 二 个 期 望 里 面 。 注意 如 果 X= 
c(Y)， 也 就 是 XX 是 Y 的 函数 ， 由 表 5-4 的 第 四 行 得 到 EL[X==c(Y)|Yjc(Y)= 二 XX， 那 么 这 个 
表达 式 可 以 简化 为 式 (5-180)。 因 此 ，X 不 是 Y 的 函数 ， 它 具备 更 精细 的 a 域 。 推 导 中 的 
下 一 步 是 令 g(Z)==g(h(Y)), Alt Z 具有 较 粗糙 的 c Rh. ERA MAEM: 

g[£[X|Y]g(h(Y))] = ELELXg (h(Y))|Y] = EL Xe (h(Y))] (5-182) 

这 里 利用 了 因子 分 解 性 质 和 正 交 性 质 。 最 后 的 期 望 与 式 (5-180) 左 侧 一 样 ， 这 也 意味 着 
式 (5-180) 与 式 (5-181) 的 右 侧 是 相等 的 : l 

ELg(Z) ELX|Z]] = EL g(Z) ELELX|Y]|Z]] (5-183) 

由 于 等 式 适用 于 所 有 g(Z) ， 并 且 都 只 是 Z 的 函数 (与 例 5-22 中 的 结果 类 似 )， 因 此 得 
到 ELX|12Z]=ELEEX12Z]12]， 即 平滑 性 质 。 

对 于 表 中 的 最 后 一 行 : 

g[£g[X|ZJ|Y]= g[g(Z)|Y]= g[g(A(Y))|YJ]J= g(acy)) (5-184) 
其 中 ELXIZ]=g(C2) 是 2 的 函数 (不 是 前 面 证 明 用 到 的 g(。))， 再 次 假设 Z=) E Y 的 函 
数 ， 它 有 一 个 较 粗 糙 的 c 域 。 最 后 结果 利用 了 表 中 第 四 行 的 结论 。 由 前 面 的 定义 g(h(Y))= 
ELX|Z]， 命题 得 证 。 


5.14 位 置 参数 : 均值 、 中 位 数 和 众 数 


表示 概率 密度 函数 中 心 和 位 置 的 参数 可 以 作为 随机 变量 的 简单 描述 ， 第 3 章 介绍 分 布 
性 质 时 也 用 到 了 这 些 参数 。 本 节 将 介绍 这 类 随机 变量 的 三 个 参数 ， 尽 管 对 于 一 些 分 布 三 者 
的 取 值 可 能 相等 。 

定义 (均值 ) 随机 变量 X 的 均值 是 其 期 望 : 

f px &ELX] (5-185) 

随机 变量 的 均值 可 以 看 作 大 量 试验 结果 的 平均 ， 从 函数 的 观点 也 可 看 作 奇 函数 g(xz) = 
工 对 fx(Gz) 加 权 后 的 面积 ， 该 面积 更 关注 大 的 工 值 ( 正 值 和 负 值 )。 

定义 (中 位 数 ) 连续 随机 变量 X 的 中 位 数 m。 是 累积 分 布 函 数 的 中 点 : 


tay = 1/2] frade 一 F fe td = (5-186) 
相当 于 P(X<m.) 二 P(X 之 m.) 二 1/2。 对 于 离散 随机 变量 ， 最 后 一 个 表达 式 改 为 以 下 两 个 条 件 
P(X < m.) > 1/2 P(X > m.) > 1/2 (5-187) 


与 1/2 有 关 的 两 个 不 等 号 的 方向 相同 。 代 入 概率 密度 函数 ， 得 到 : 
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fe 5] PCX = n(x —n) dx > 1/25 5) px[n] > 1/2 (5-188) 


i >) P(X = nela — n) dx > 1/2 >) px[n] > 1/2 (5-189) 


由 于 只 计算 整数 值 ”的 概率 质量 ， 为 保证 两 个 求 和 都 包括 m. 并 且 都 大 于 1/2, BR 
中 位 数 必 须 是 整数 (对 应 X 的 一 个 结果 ) 。 该 定义 的 示例 如 下 。 
考虑 不 能 写 出 中 位 数 m. 的 确切 表达 式 的 泊 松 分 布 ( 与 附录 A 中 的 多 数 随机 
变量 不 同 ) 。 设 a 二 2. 5， 由 于 : 
P(X < 2) = exp(— 2. 5)[1 + 2. 5/1! + (2. 5)7/2!] + 0.5438 >1/2 (5-190) 


从 而 
P(X > 2) ~ 1 — 0. 5438 = 0. 4562 (5-191) 
对 于 式 (5-187) 的 第 二 个 不 等 式 : 
P(X > 2) ~ 0. 4562 + exp(— 2. 5) (2. 5)2/2! ~ 0. 7127 > 1/2 (5-192) 
从 而 得 出 该 a 值 对 应 的 m. 二 2。 < 


虽然 离散 随机 变量 的 中 位 数 有 时 取 两 个 结果 的 中 值 ， 对 应 到 例 5-25 的 X 值 为 2.5， 但 
式 (5-187) 中 定义 的 强制 中 位 数 取 随 机 变量 的 整数 结果 。 与 均值 不 同 ， 中 位 数 不 受 “ 重 尾 ” 
的 影响 (先前 讨论 的 柯 西 分 布 )， 因 此 它 往往 很 重要 。 由 于 中 位 数 不 受 罕见 的 极端 事件 ( 称 
为 离 群 ) 的 影响 ， 因 此 在 统计 学 里 有 时 将 它 作为 中 心 的 测度 。 

JUERD 有 N=b—at1 个 结果 (asb) 的 离散 均匀 分 布 的 随机 变量 ， 式 (5-189) 定 
义 的 中 位 数 的 两 个 表达 式 为 : 





X C/N) > 12=m. —a +1 > N/2=m, > (a + b—1)/2 (5-193) 
b 
>} G/N) > 1/2>b— m, +1 > N/2=m. < (a +b+ 1)/2 (5-194) 


由 于 对 常数 进行 求 和 ， 所 以 比较 简单 。 如 果 a 十 6 为 奇数 (N 是 偶数 )， 将 得 到 两 个 不 同 的 
m 值 ， 因 此 从 定义 来 看 中 位 数 不 存在 。 如 果 a 十 6 为 偶数 (N 为 奇数 )， 利 用 floor 函数 
me 二 [(a 十 6 十 1)/2] 将 得 到 唯一 的 mm。 值 。 有 时 取 m. 二 (a 十 5)/2,， 但 当 a 十 6 为 奇数 时 ， 会 
得 到 一 个 不 是 X 结果 的 非 整 数值 。 < 
定义 ( 众 数 ) ” 当 工 的 概率 密度 函数 为 全 局 最 大 时 ， < 2 bu 9 X RKM. 
图 5-9 给 出 了 连续 和 离散 分 布 的 均值 、 中 位 数 和 众 数 。 有 多 个 极 大 值 的 概率 密度 函数 





将 对 应 多 个 众 数 。 图 5-10 给 出 了 双 峰 概率 密度 函数 。 
0.9 T az zz FO + 
0.8 -= 均值 gs 
0.35 
0.7 
0.3 
0.6 
0.25 
0.5 
=< = 
0.4 = a 
T 0.15 
sa 0.1 
5 0.05 
0 
% 1 2 n B 4 5 h 
a) b) 


5-9 均值 、 中 位 数 和 众 数 。a) 瑞 利 分 布 (c 一 0.9) : py =o/ Vx/2，me =o /In(4), m=o; b) JAMS 
布 (a 二 2.5): jx 二 a，m. 为 使 用 式 (5-187) 得 到 的 值 ，m, =la] 
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图 5-10 “ 双 峰 分 布 示例 ， 该 分 布 通过 对 两 个 标准 高 斯 分 布 的 概率 密度 函数 求 和 得 到 (每 个 权 值 为 0.5)， 
称 为 “随机 变量 的 混合 ” 
命题 5-1 随机 变量 的 均值 是 使 均 方 误差 E[(X 一 a)? | 最 小 的 a。 
证 明 ; 按 如 下 方式 展开 期 望 : 
ELCX — a)? ] = ELX? ] — 2a ELX] + a° (5-195) 
KF a 进行 微分 ， 得 到 : 
= BK —a)*] =—2 gl X) +2 (5-196) 
a = ECX] = py (5-197) 
命题 得 证 。 最 小 均 方 误差 等 于 方差 ox. 
命题 5-2 随机 变量 的 中 位 数 是 使 绝对 误差 的 均值 E[ | X—a | ] 最 小 的 a, 
证 明 : 按 如 下 方式 展开 期 望 : 
E[|X—al] =| lz— a| fx Gaydz 


=| (x—a) fx(adde— |" (e—a frade (5-198) 
利用 链 式 法 则 关于 a 求 微分 ， 并 令 结果 等 于 0， 得 到 : 
= | FxCxrde+ | frode = it} (5-199) 


式 (5-199) 与 式 (5-186) 相 同 ， 从 而 a=m.. 

对 于 参数 为 {1，o) 的 高 斯 随机 变量 X， 其 均值 、 中 位 数 和 众 数 都 等 于 x。 参数 
为 A 的 指数 随机 变量 X， 均 值 、 中 位 数 和 众 数 分 别 是 1/A4、ln(2)/4 和 0。 均值 通 过 式 (5-49) 
得 到 ， 众 数 显 然 是 0。 中 位 数 的 计算 方法 如 下 : 

|” fx z)dz = al” exp(— Ar) dx = 1 — exp(— Am.) 
A ERE 1/2, Fl: 
exp(— Am.) = 1/2m, = In(2)/A (5-200) < 


5.15 方差 、 协 方差 和 相关 


这 里 将 讨论 随机 变量 的 分 散 或 扩散 程度 的 测度 。 
定义 (方差 ) 随机 变量 X 的 方差 为 : 
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AEX — pr)’] (5-201) 
其 中 Lx 二 ELXj] 是 均值 。 
由 于 是 减 去 均值 后 再 计算 期 望 ,方差 有 中 心 的 含义 ， 它 是 5. 16 节 定 义 的 中 心 给 之 一 。 
方差 可 以 由 均值 和 均 方 表示 : 
oy = ELX? —2Xp, T+ t] = ELX’ ] — pe (5-202) 
这 里 总 结 了 方差 的 几 个 性 质 : 
e 线性 变换 对 于 aX+b: 
var[aX + b] = a'o} (5-203) 
其 中 (a,b) ER 是 常数 。 当 对 随机 变量 进行 展 缩 时 (变换 的 斜率 a), 方差 也 随 之 变化 ， 
但 是 与 平移 无 关 ( 变 换 的 截 距 5)。 这 是 因为 平移 改变 均值 ， 而 方差 是 居中 的 期 望 。 
e 和 的 方差 两 个 相关 随机 变量 X AY 的 和 的 方差 为 : 
var[X+ Y] =E[(X +Y — (py + py)? J 
=a (Xp. ¥ + — p+ 2 a Y — DI 
=o, to, + 2cov[ X.Y] (5-204) 
其 中 covLX, YIZEL(X—py) (Y—p,) le X AY 的 协 方差 Cxy( 本 节 后 面 将 介绍 ) 。 
如 果 X MY 是 独立 随机 变量 ， 则 : 
var[X + Y] = o +o; (5-205) 
事实 上 ， 该 结果 只 要 求 Cxy 二 0， 也 就 是 随机 变量 不 相关 即 可 。 
e 方差 的 线性 组 合 TASER PAs ST ES SS A OSE OO 


varl Pax] = Jaio a = Sanang, (5-206) 
其 中 {a,} ER 是 常数 。 
° 差 的 方差 两 个 相关 随机 变量 差 的 方差 是 : 
var[ X — Y] =o, +o — 2Cxy (5-207) 


如 果 X 和 工 不 相关 ， 也 就 是 Cxy 二 0， 则 var[X—Y]=s, +o, 是 各 自 方差 的 和 ; 由 
于 方差 不 能 为 负 ， 因 此 它 必须 是 和 (而 不 是 差 )。 
定理 5-7( 总 方差 法 ) 对 于 相关 随机 变量 : 


var[ X] = £[var[ X| Y]] + var[£[ X| YJ] (5-208) 
证 明 : RAH Y 并 利用 类 似 式 (5-202) 的 形式 得 到 : 
var[ X] = £[£[ X° | 2 区] 一 (ECEEX|Z]]7? (5-209) 


其 中 外 期 望 是 关于 Y 的 。 再 次 利用 式 (5-202) 并 改写 第 一 个 期 望 ， 得 出 : 
var[ X] =£[var[X|Y]+ (ELXIY])’]— (g[£g[ X |Y]J])2 


=€[var.X|¥]]+ £#[(g[X|YJ)2J— (g[£[ X| YJ) (5-210) 
合 后 两 项 得 出 另 一 个 方差 : 
g[(g[X|YJ)2:]J— (ELECXIYJD? = var[ELX4+Y]] (5-211) 
将 该 结果 代入 式 (5-210)， 定 理 得 证 。 
该 定理 与 第 2 章 的 总 概率 法 类 似 。 


定义 (标准 差 ) 随机 变量 X 的 标准 差 ov 是 方差 oz 的 正平 方 根 。 
与 方差 不 同 ， 标 准 差 与 均值 、 随 机 变量 本 身 有 相同 的 单位 ， 因 此 通常 将 标准 差 作 为 随机 
变量 分 散 程度 的 测度 。 与 方差 一 样 ， 标 准 差 与 随机 变量 展 缩 系数 有 关 ， 与 平移 系数 无 关 : 
stdevLaX +b] = |alo, (5-212) 
其 中 4a，bER 为 常数 。 
考虑 参数 (7 一 0，c 一 1)} 的 标准 高 斯 随机 变量 。 图 5-11 标 出 了 偏离 均值 1 个 、 
2 个 、3 个 标准 差 的 随机 变量 的 值 。 当 a DAET 1, 2, 3, 45 H, PXI Sa) HF) 
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3 0.683, 0.955, 0.997, 0.9999, 0.999999, 
0.45 
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图 5-11 标准 高 斯 概率 密度 函数 ， 显 示 了 偏离 均值 1 个 ，2 个 ，3 个 标准 差 的 值 。 Ze 
延伸 ) 对 应 的 概率 分 别 为 0.683，0.955， 和 0. 997 


定义 ( 变 差 系 数 ) 随机 变量 X 的 变 差 系数 是 : 
cx 会 一 (5-213) 


这 里 假设 py 天 0。 

它 是 概率 密度 函数 关于 均值 差异 的 测度 。 因 为 比值 里 使 用 的 是 标准 差 而 不 是 方差 ， 其 
单位 与 X 无 关 。 

协 方差 可 以 看 作 一 个 随机 变量 的 方差 到 两 个 随机 变量 的 扩展 。 

定义 ( 协 方差 和 互相 关 ) ”随机 变量 义 和 Y 的 协 方差 是 : 


Cxy SELCX — py CY — py)] (5-214) 
它 可 以 改写 为 : 
Cxy = ELXY] — ux ELY] — py ELX] 十 Apy = Ray — pxpy (5-215) 
其 中 
Rxy 全 ELXY ] (5-216) 
是 和 和 了 的 互相 关 。 


观察 发 现 Cxy 二 Rxy 要 求 至 少 一 个 随机 变量 具有 零 均值 。 互 相关 是 X 和 YY 的 线性 关系 
的 测度 ， 详 见 后 面 定义 的 相关 系数 。 协 方差 有 以 下 性 质 : ; 

e RX ” 当 Cxy 二 0 时 ， 随 机 变量 X AY 不 相关 ， 这 时 Rxy =ELX]ELY]. 

o 对 称 性 Cxy 二 Cyx。 

e 展 缩 和 平移 covLaX+b, cY+d]=acCxy, H Ba,b,c,d C€ REKS 

这 些 性 质 的 证 明 留 作 练习 。 

uE) 假设 X, 和 X, 是 均值 相同 的 相关 随机 变量 ,定义 Y, 2 X, + X, Y, 全 XI 一 
X20 由 于 py, “ELX — X, ]=0, Y, PY, 的 协 方差 等 于 : 

Crv, =8[(X, + X,)(X, — X,)] — ny py, 
=ELXi]+ €LX2] = Ry v, (5-217) 

其 中 ， Hy, “ELX: —X:]=0. < 

fa STE AN iM Y= X BF, Cxv—Cxx =g} Rxy 一 Rxx =€[ X° ], BRA Cxx fll R xx 
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不 是 标准 的 随机 变量 符号 ， 但 它们 将 用 于 第 6 章 随 机 过 程 。 那 里 它们 取决 于 过 程 中 的 时 刻 
{ty ste} :Cxx (ty ote) SELLX Cty) — py (t) JLX Cte) — pry (t2) ] Rxx G ote) ELX Ct) KG) )- 
分 别称 为 自 协 方差 和 自 相关 函数 。 


5. 16 方差 的 函数 观点 


利用 类 似 解 释 均 值 的 函数 方法 ,来 说 明 如 何 利用 方差 度量 概率 密度 函数 的 宽度 。 由 于 
计算 方差 时 已 减 去 均值 使 得 概率 密度 函数 的 中 心 移 到 0， 因 此 它 是 一 个 中 心 矩 。 这 里 假设 
X 的 均值 为 零 ， 从 而 研究 


E[X2] = | x fx (z)d= (5-218) 


用 fx(z) 表 示 参 数 {y 二 0，o 二 1} 的 标准 高 斯 分 布 。 图 5-12a 画 出 了 乘积 z fx Cr) OR 
BK). HF x” 和 fx(x) 非 负 ， 式 (5-218) 也 必须 非 负 。 如 果 概 率 密度 函数 变 宽 (o EK), 
因为 xz? 是 一 个 快速 增长 的 非 负 函数 ，z fx(z) 将 有 更 大 的 面积 。 从 图 5-12b 可 以 看 出 当 
o 二 2 时 ， 虚 线 下 的 面积 增 大 。 与 用 于 计算 均值 的 zfx(z) 中 的 z+ 不 同 ，x 没有 零 交 叉 ， 
它 是 关于 原点 的 偶 函 数 ， 因 此 fx(z) 在 z=0 两 侧 有 相等 的 正 加 权 。 图 5-12 中 画 出 了 累 
积 面积 


Bizy = l: of fe Godo (5-219) 
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图 5-12 方差 的 函数 观点 画 出 了 高 斯 概率 密度 函数 的 fx (z), Z°, fx (2) Ml B(z), a) pn 一 0 和 co 一 1; 
b) y=0, o=V2 


工 是 取 值 范围 在 fx(z) 定 义 域 的 变量 。 当 然 ，ELX ] 一 limB(z)。 该 函数 类 似 累 积分 


布 函数 ， 但 是 被 积 函 数 是 加 权 了 的 概率 密度 函数 x? fx (z), 

从 该 结果 可 以 得 出 结论 : 均值 的 其 他 偶 函 数 同样 是 概率 密度 函数 宽度 的 测度 。 这 方面 的 
例子 包括 寡 次 是 偶数 的 高 阶 中 心 矩 ， 例 如 E[CX 一 各)]，E[LCX 一 0)5] 等 ， 还 有 EL|X 一 六 | ]。 
当 pmx 王 0 时 ，ELIX 一 wx | TER 


E[IXI] = | lzlfx(z)dz = | zfzGo4e— [i afxG@de (5-220) 
改变 第 二 个 积分 中 的 变量 得 到 : 
EL|XI] = | zL e) + fx(—a) dz (5-221) 


由 于 20, fx(z)3Efñn, WR fx(zx) 变 宽 ，x[fx(z) 十 fx( 一 x)j 下 的 面积 总 是 为 正 且 
随 之 增加 ， 虽 然 增 加 速度 没有 rfr). 
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5.17 期 望 和 指示 函数 


有 时 可 以 利用 指示 函数 方便 地 将 各 种 概率 量 写成 期 望 的 形式 。 对 于 概率 密度 函数 为 
fx(z) 和 累积 分 布 函 数 为 Fx (zx) 的 随机 变量 X : 


P(a < X< b) = | Tran (2) fx (wd = ELl a CX)] (5-222) 


这 种 情况 下 ，Itiwm(X) 是 随机 变量 X 的 特殊 的 非 线性 变换 。 类 似 地 ， 可 以 将 累积 分 布 函 数 
写成 如 下 形式 : 
_Fx(z) = P(X < x) = Elle. (X)] (5-223) 
我 们 可 能 对 指示 函数 本 身 的 各 种 期 望 感 兴趣 。 例 如 : 
varl Irr XY] =£[(T.,,y CX) — ELl (XD)? J 
=E X)]— Pla KX <b) (5-224) 
ix EA SK (5-222) PARIER RAE. H T Ie X)BJ3E Jy TRE A PHL, 
最 终 得 到 : 
varLlras (Xy Ji =Pla < X << by — Pt(a ç X =b) 
=P(a < X< b)[(1— P(a < X< b)] (5-225) 
与 随机 变量 X 的 任意 函数 一 样 ， 计 算 方差 时 可 以 不 计算 映射 的 概率 密度 函数 。 上 面 
结果 的 一 个 特殊 情况 是 : 
var[ Io (X)] = Fx(z)[1 — Fx(z)] (5-226) 
对 于 随机 变量 XX 和 Y， 可 以 利用 一 系列 操作 计算 协 方差 : 
cov[ Ian An eT CRT a (Y)]—£[ F; a XO] ELl a Y] 
=P((a < X < b) N tc < Y < d)) — P(a < X <b) 
Pee < Y < d) (5-227) 
由 于 指示 函数 只 有 两 个 值 (0,1), 因此 它 的 期 望 非 负 并 且 不 超过 1， 从 式 (5-222) 中 的 
0<P(a<X=<b)=<1 可 以 清楚 地 看 出 这 一 点 。 同 样 地 ， 指 示 函 数 的 方差 有 界 : 从 式 (5-225) 
得 到 : 
0<P(a< X< b[1—P(0a < X< b]<1—P(0< X<) <1 (5-228) 
式 (5-227) 的 协 方差 同样 有 界 。 
DERD 设 X 服 从 参数 (7 一 0，a 王 1)} 的 标准 高 斯 分 布 。 那 么 
EL Tre rR] = 1⁄2 (5-229) 





以 及 
var[ Itoo (X)] = P 0 < X < c)[1— P 0 < X< co)] =1/4 (5-230) < 


5. 18 相关 系数 


相关 是 两 个 或 多 个 随机 变量 关系 的 一 个 重要 测度 。 例 如 ， 如 果 X 和 YY 是 相关 的 ， 屠 
么 X 的 结果 可 以 用 于 预测 Y 的 结果 。 相 关 也 意味 着 ， 如 果 Y EX 的 条 件 ( 反 之 亦 然 ) W 
Y 给 定时 X 的 条 件 概率 密度 函数 与 边缘 概率 密度 函数 不 同 。 在 第 4 章 例 4-5 中 的 二 维 高 斯 
概率 密度 函数 已 经 讨论 过 这 一 点 。 本 节 将 讨论 相关 的 归 一 化 测度 ， 它 也 可 以 用 于 产生 给 定 
相关 度 的 随机 变量 。 

定义 (皮尔 进 相关 ) 随机 变量 X 和 了 的 皮尔 逊 相 关系 数 为 : 

Pxy aon (5-231) 
当 提 到 相关 系数 时 ， 一 般 指 的 是 皮尔 逊 相关 系数 py (不 是 后 面 介绍 的 其 他 相关 系数 )。 
由 于 进行 了 归 一 化 ，pxy 无 量 纲 且 有 界 。 
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定理 5-8 相关 系数 是 有 界 的 : 


leet (5-232) 
证 明 : 利用 附录 下 中 的 柯 西 - 施 瓦 效 不 等 式 : 
|EL(X — py (Y — py I< VEX- py] EY — py] = ooy (5-233) 


等 式 两 边 同 时 除 以 cvcy， 定 理 得 证 。 
假设 U AV 是 均值 为 0、 方 差 为 1 的 不 相关 的 随机 变量 。 为 了 产生 一 组 相关 系数 poxr 
为 特定 值 的 随机 变量 {X，Y}， 可 以 利用 下 列 变换 : 


N = U, , Y.= osU tyl =p (5-234) 
Att =l, &=pytl—-py=l, UR 
ELXY] = pyy ELU*?] + V1 — pr ELUV] = py (5-235) 


从 而 X # Y 是 均值 为 0、 方 差 为 1、 相 关系 数 为 o 的 随机 变量 。 从 散 点 图 中 可 以 看 出 当 
ov 改变 时 ， 相 关 随机 变量 是 如 何 改变 的 。 具 体 过 程 是 先 产生 {w， 吉 ， 利 用 式 (5-234) 进 
行 变 换 ， 并 且 绘制 多 个 随机 对 。 图 5-13 给 出 了 多 个 pw 的 例子 ， 其 中 {U，V} 是 独立 的 
标准 高 斯 随机 变量 。 观 察 发 现 “ 星 群 " 从 圆 形 (pw 一 0) 变化 到 直线 (pwy == 土 1) 。 图 5-14 给 
出 了 这 些 图 形 对 应 的 4 个 概率 密度 函数 ， 从 中 可 以 发 现 同一 概率 密度 函数 值 对 应 的 等 高 
线 与 散 点 图 的 形状 相同 。 它 们 从 圆 形 (pw 一 0) 变化 到 椭圆 (0 二 |pw | 二 1)， 然 后 到 直线 
(|pw | 二 1)。( 因 为 不 易 画 出 概率 密度 函数 为 垂直 平面 的 三 维 图 ， 所 以 没 画 出 直 
线 情况 。) 

但 是 需 注意 相关 系数 不 能 描述 两 个 随机 变量 所 有 的 相关 类 型 ， 例 如 图 5-13 中 的 线性 
相关 。 接 下 来 的 简单 例子 说 明了 这 一 点 。 





图 5-13 ”相关 随机 变量 {X，Y} 的 不 同 相关 系数 对 应 的 散 点 图 。a) pw =0s b) pw =0.5; c) pyy 一 0.7; 
d) pry 0: 93 ©) ov— ti D p= 1 
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图 5-14 ”相关 随机 变量 (XY) 的 不 同 相关 系数 对 应 的 二 元 高 斯 概率 密度 函数 。a) py 一 0 b) pw = 0.5; 
c) pxy = 0. 7; (d) Pxy — 0- 9 


假设 X 是 结果 为 { 一 1，1)} 的 对 称 伯 努 利 随机 变量 ， 成 功 概 率 p=1/2, RK 
Y 一 |X| 的 概率 密度 函数 fro) =l), Ar 
| a z=—1,y=1 


全 (5-236) 
网 其 他 
显然 对 和 YY 不 独立 ; 但 是 它们 不 相关 。 
ELXY] = 1/2 X (— 1) X1+1/2X1X1=0 ; (5-237) 
因此 pxy 王 0。 4 


下 面 的 定理 描述 了 随机 变量 之 间 的 线性 关系 。 
定理 5-9 当 且 仅 当 Y=aX 十 b 时，|pwy | 二 1。 其 中 {a DEREK. 
证 明 : 必要 性 : 定义 UU 会 X/o,、V 会 Y/oc,， 并 考虑 差 的 方差 : 
var[U — Y] = of, +0 —2Cw = 2(1— py) (5-238) 
则 
of, = ELU — w)’ ] = ELX — px)? ]/ = 1 (5-239) 
FI of =1, 4 py prli, varlU-V]=0, HEERA U-V 只 有 二 个 值 cER; 概 
率 密度 函数 fu-¿(z)=ó(z=—c), Alt. U-V 等 于 c 的 概率 为 1， 并且 
Y = oy (U — c) = (gy/ox)X— coy (5-240) 
当然 它 是 斜率 a 二 oy/o,、 截 距 0 三 一 cov 的 线性 ( 仿 射 ) BR. `4 opa 三 一 1 时 ， 利 用 
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varLU 二 Vj] 可 以 得 出 类 似 的 结果 。( 定 理 的 充分 性 证 明 比 较 简单 ， 留 作 练 习 ,) 
定义 (皮尔 远 样本 相关 ) CHMPMREX HY 的 NN 对 样本 {X,,Y,), 皮尔 逊 样本 相 
关系 数 为 : 


N 

> (X, — X) (Y, —Y) 
pxy rg eae (5-241) 
(Y, —Y)? 





ae 2o k 168 50. Y R tek. 
样本 (X Yn) 是 随机 变量 ， 代 入 实际 结果 {xz,,y,) 可 以 得 到 样本 相关 系数 的 确切 值 。 
趟 (5-241) 可 改写 如 下 (见习 题 5 33) ， 


N 
=~) 一 一 一 一 一 一 (5-242) 
1 
其 中 





(5-243) 


是 X 的 样本 方差 ， 同 理 S, 也 是 样本 方差 。 平方 根 Sx 全 VSx 和 Sy 全 VS+ 是 样本 标准 差 。 
定义 下 列 样本 均值 偏 移 向 量 : x = LX, —X,--- Xw — XT F = [Yi —Y, ,YN —Y]', 从 而 
= = (5-244) 
利用 向 量 的 柯 西 - 施 瓦 效 不 等 式 ( 见 附录 G) 可 以 得 出 任何 结果 的 |pxy | <1. 
定义 (斯 皮尔 曼 等 级 相关 ) ”斯 皮尔 曼 等 级 相关 系数 为 : 


N 
SD) Gren — Fx) ry.n — Ty) 
fs 全 一 (5-245) 





> atx." D Ov. — ry) 
其 中 人 rx.n)} 和 {ry,,) 分 别 是 样本 {XX aly JAFA, 等 级 对 应 的 均值 分 别 为 7x 和 Ty。 
特别 要 注意 ， 样本 {X,)} 和 { 立 } 的 实际 值 只 4 用 于 计算 等 级 ， 而 不 会 用 于 计算 tre RE 
式 (5-245) 的 向 量 比 包含 等 级 ， 同 样 可 以 借助 柯 西 - 施 瓦 兹 不 等 式 得 出 斯 皮尔 曼 等 级 相关 系 
数 也 是 有 界 的 ， 即 |rs | 委 1。 
在 介绍 随机 变量 样本 的 最 后 一 个 相关 测度 前 ， 先 根据 样本 等 级 给 出 以 下 定义 。 
定义 (一 致 和 不 一 致 ) 设 {X,，Y,} 是 随机 变量 和 YY 的 样本 ， 如 果 


Xa < X; Y: < YK UNU > X; Y. ZN a) (5-246) 
(X.,,Y,), (IX. ,Y,) 是 一 致 的 。 
如 果 — 
(AXI <= XL, Yu BAX, SPE VY} (5-247) 
它们 是 不 一 致 的 。 
如 果 
(X, = Xn} (Y, = Yn} (5-248) 


它们 说 不 是 一 致 的 ， 也 不 是 不 一 致 的 。 

包含 等 号 的 最 后 一 个 条 件 称 为 和 平局。 排除 一 致 或 不 一 致 时 ， 只 需要 其 中 的 一 个 等 式 。 
N 个 样本 中 ， 组 合 对 (CN 选 2) 的 数目 为 : 
(*)= N! 
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用 N. 表示 一 致 对 数目 ，N 表示 不 一 致 对 数目 ， 定 义 差 Av 全 N. 一 Nu。 同 样 要 考虑 平 
值 概率 。 假设 {X,} 中 有 Nx AFE, H Nx 表示 第 m 组 的 样本 数 。 显 然 ，Nx.w 宇 2: 平局 
需要 至 少 两 个 样本 。 同 样 地 ， 当 {Y,} 有 Ny 组 平 值 时 ， 用 Ny 表示 的 第 mx 组 的 样本 数 。 
下 面 定义 的 相关 考虑 了 样本 一 致 或 不 一 致 的 情况 。 

定义 ( 肯 德 尔 等 级 相关 ) 肯 德 尔 等 级 相关 系数 为 : 

A A 


(i — —————— AS E 
NON — 1) N(N—1) 1/2 
([ 2 = D Nam Nien — 19/2 |[ GS E Noan Nem — D /2 |) 


a: (5-250) 
当 没 有 平局 时 ， 肯 德尔 等 级 相关 减少 为 : 
t = ah (5-251) 
其 分 母 是 式 (5-250) 的 分 母 的 第 一 项 。 这 里 已 经 将 式 (5-250) 写 成 类 似 皮尔 逊 相关 系数 的 形 
式 ， 其 分 子 是 一 个 等 级 相关 ， 而 分 母 用 于 归 一 化 来 保证 |z |<1, HT Au 不 考虑 平局 ， 
因此 分 母 中 的 减法 是 必要 的 。 必 须 从 组 合 N(N 一 1)/2 中 减 去 平局 的 数目 。 对 于 连续 随机 
变量 ， 我 们 可 以 使 用 简化 式 (5-251) ， 因 为 平局 的 概率 为 0。 


5. 19' EX 


两 个 随机 变量 的 正 交 性 在 参数 估计 (第 9 章 ) 和 信号 估计 (第 11 章 ) 时 是 非常 重要 的 
性 质 。 

定义 ( 正 交 ) 如果 E[XY]= 二 0， 则 随机 变量 对 和 YY 正 交 。 

根据 广义 正 交 函数 的 形式 : 满足 下 列 条 件 时 ， 两 个 确定 性 函数 gi (xz) 和 g. (a) EX: 


| e gawad = 0 (5-252) 


其 中 w(z) 是 一 个 正 的 加 权 函 数 。 这 里 将 加 权 函 数 写 成 X 和 YY 的 联合 概率 密度 函数 ， 积 分 
变量 是 两 个 随机 变量 : 
[J fzx, Er kair. (5-253) 
下 面 的 定理 说 明了 两 个 随机 变量 独立 、 不 相关 、 正 交 的 联系 。 
定理 5-10 ”对 于 随 机 变量 X 和 了 ; 
° 独立 意味 着 不 相关 : 


fxx(z+y) = fx (2) fy ECXY] = ELX] ELY] (5-254) 
e 当 至 少 一 个 随机 变量 的 均值 为 0 时 ,不 相关 和 正 交 等 价 : . 
ECXY] = ECX] ELY], px = 0 È zy = 0= £[XY]= o (5-255) 


TERA: 前 面 的 叙述 已 经 证 明了 该 定理 。 

虽然 零 均 值 随机 变量 的 不 相关 和 正 交 等 价 ， 但 它们 是 不 同 的 特性 。 在 许多 应 用 中 ， 由 
于 问题 的 性 质 或 零 均 值 随机 变量 的 变换 的 应 用 ， 使 得 随机 变量 均值 为 0， 因 此 经 常 将 这 两 
个 性 质 混 清 。 由 式 (5-253) 发 现 ， 正 交 性 取决 于 概率 密度 函数 与 zy 乘积 关系 的 结构 : 函数 
ZXyfx.y(T，y) 在 区 间 内 的 正 、 负 面积 是 否 相 等 。 因 此 ， 当 XX 和 YY 都 是 正 或 都 是 负 时 , € 
们 不 可 能 正 交 。 

另 一 方面 ， 由 于 相关 是 两 个 随机 变量 线性 关系 测度 ， 不 相关 只 意味 着 不 存在 线性 关 
系 。 图 5-13 中 ， 当 相关 系数 o 接近 士 1 时 ， 这 种 线性 关系 是 显而易见 的 。 通 常 ， 相 关 随 机 
变量 意味 着 不 独立 。 然 而 ， 从 下 面 的 例子 可 以 发 现 有 些 分 布 是 独立 的 。 
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了 设 XX 和 YY 是 联合 高 斯 随机 变量 ， 二 元 概率 密度 函数 为 : 
1 
Tn $7 Sexe S 六 /ay 
fray (try Baas = ad T— py) / 6x 
— 2p(a — py) (y — py) /oyay + Cy — py)? /a,)/201 — pxy)) (5-256) 
# K X MY AWK (oxv=0), H| fx,y(x，y) 可 表示 为 两 个 边缘 概率 密度 函数 的 乘积 : 


fx.y (z, y) = 








7a- ee Z= 

= fx (x) fy (y) (5-257) 

虽然 不 相关 高 斯 随机 变量 通常 是 独立 的 ， 但 也 有 例外 。 例 外 通常 是 人 为 构造 的 变量 ， 

如 例 5-33, . < 

D 设 X 是 参数 (7 一 0，c)} 的 高 斯 随机 变量 。 假 设 Y 王 ZX， 其 中 乙 是 对 称 的 结果 

A{—-1, 1894824880 4 FE, p=P(Z=1)=1—q, E Z 5 X 独立 。Y 的 累积 分 布 函 
数 为 : 


exp(— (y — py)? 20%) 





Fy(y) =P(Y < y|Z = Dp + P(Y < y|Z =—1)q 


=P(X < y|Z = 1)p+ P(X >— y|Z =— Dg (5-258) 
由 于 和 和 2Z 独立 ， 两 个 条 件 概率 可 写成 : 
Fy(y) = P(X < y)p + P(X >— y)q = P(X < y) = Fx(y) (5-259) 


这 里 利用 了 fx(z) 是 偶 函 数 。 因 此 ，Y üa X 的 分 布 相同 。 显 然 ，X 和 了 不 独立 : 4 X== 
H., Y 必须 是 十 工 或 一 工 。 另 一 方面 ， 当 p=q=1/2 时 ， 它 们 是 不 相关 的 : 


Cxy = ELXY] = ELX’ Z] = ELX’ ] ELZ] = *'(p—q) = 0 (5-260) 
B X a Y £ B RA 8 3 43, 0 Z l RA KS m OA. 342 AB 
不 独立 的 原因 。 < 





GED 接 下 来 ;我们 希望 得 到 例 5-33 中 随机 变量 X 和 了 的 联合 概率 密度 函数 。 首 
先 假设 p=1/2, KARRAMBA A: 

Fx (z,y) =P(X < z=,XZ < y|Z = DPZ =D PIX <2, XZ < y|Z =—- PZ =—1 
=(1/2) P(X < z=,X < y) + (1/2)P(X < z, X B>— y) 


=(1/2)Fx(min(z,y)) + 1/2) EF x(a) — Fy(— y) Jule yy (5-261) 
其 中 阶 跃 函 数 使 得 只 有 当 eS yit, 第 二 项 非 零 。 第 二 项 也 可 以 写成 ; 
Fe) —Fy(— y) = [° fx(z)dz (5-262) 


其 中 ，Ax(z) 是 标准 高 斯 概率 密度 函数 。 对 于 独立 随机 变量 ， 该 累积 分 布 函数 与 Fx(Cz)Fyr(y) 
的 乘积 有 明显 的 不 同 。 图 5-15 分 别 画 出 了 第 一 项 、 第 二 项 以 及 整体 的 累积 分 布 函数 。 观 察 发 
HL, min(z, y) # Ë] 5-15a F r=y # H 32“ 387”, u(z+ y)# # Ë] 5-15b 中 的 xz 一 一 y 一 侧 突 
然 出 现 平 坦 区 域 。 当 z<—y 时， 函数 Fx(z) 一 Fx( 一 y) 将 为 负 值 ,- 但 单位 阶 路 函数 对 它 进 行 
了 截断 ， 所 以 Fx(z) 一 Fx( 一 y) 总 是 非 负 ， 从 而 产生 了 图 中 零 浆 的 “基底 ”。 式 (5-261) 中 的 第 
三 项 可 重 写 为 : 


Fx(z)— Fx(— y) = Fx(z=) + Fx(y)—1 (5-263) 
表明 它 关 于 zx fay 对称。 利用 下 式 推导 出 式 (5-261) 的 概率 密度 函数 : 
min(z,y) = (1/2)(z+ y— |z — y|) (5-264) 


从 而 
© min( x,y) = (1/2)[1—sgn(za2—y)], ——min(z,y) = ó(z—y) (5-265) 
Ox Ox = 


其 中 dsgn(y)/dy 二 28(y)。 受 累积 分 布 函 数 中 第 一 项 的 影响 ， 整 体 的 概率 密度 函数 包含 
Z 一 y 线 处 的 冲 激 函 数 (见习 题 5-37)。 
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图 5-15 例 5-34 AAA X Bë HL ZE E RE dB PA. a) 第 一 项 : (1/2) Fx (min(z,y)) ; b) 第 二 项 : 
(1/2) Fx (2) —Fx(—y) Julaty); c) a 和 b 的 总 和 < 


5.20 相关 和 协 方差 矩阵 


考虑 包含 N 个 随机 变量 {X, E AX = [CX Xn] 。 
定义 ( 自 相 关 短 阵 ) Mpls XER 6 Ë JX 2EFE 2: 
g[ X: ] ELX: X, ] "Ps ELX, Xn] 


ELX2X1] ELX3] 


Ry 全 ELXXT- | = (5-266) 


ELXNX1] = ELXN] 
Bn, n) 3 8[ X, Xal, HP m 是 行 数 、n 为 列 数 。 
设 Y = LY, TD T 包含 M 个 随机 变量 {Yw) 。 
定义 (互相 关 矩 阵 ) MiSs X€ RN PYER hiJ: 
Ry 2-£[ XY  ] (5-267) 
假设 随机 向 量 的 随机 变量 在 一 定 程度 上 相关 。 通 过 乘 以 变换 矩阵 ， 可 以 将 随机 向 量 的 
元 素 变 成 一 组 新 的 互 不 相关 的 随机 变量 。 考 虑 变换 Y 二 AX， 其 中 AERNxN， 因 此 


Rw = £[AXXTAT] = AR,xA T (5-268) 
如 果 Rw 是 对 角 和 矩阵 ， 则 YY 的 元 素 不 相关 。 这 是 通过 特征 分 解 ( 见 附录 G) 得 到 的 : 
Rxx = QAQ" (5-269) 


其 中 对 角 和 矩阵 4 中 的 元 素 为 Rxx 的 特征 值 。8 的 列 是 相应 的 特征 向 量 ， 因 此 OSI, HEA 
TIER "人 是 单位 矩阵 ， 因 此 @ "二 0 S AS, 得 到 需要 的 对 角 结果 : Rw 一 A。 
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WR: 
A=Q'A 2 (5-270) 
然后 对 随机 变量 进行 变换 ， 从 而 Rw =I. 
定义 ( 协 方差 和 矩阵) ”随机 向 量 关 ERN £ Y C ZM 的 协 方差 矩阵 为 ; 
Co AEX — p,) Y — uy)! ] 
ELK px Yi may] ELK — zx ) (Yu — py 
=s i “a: : (5-271) 
KA YY — py )] ™ ECX an imme DI 
KP py SELX], m EX]. 
该 表达 式 将 标量 协 方差 扩展 到 多 个 变量 。 协 方差 矩阵 可 以 表示 成 互相 关 和 矩阵 的 形式 : 
Cy = Ry — ppl (5-272) 
定义 ( 自 协 方差 矩阵 ) SY=X, 从 式 (5-271) 得 到 随机 向 量 XER HAWFALB 
HA: 


Ca SEL (X — py) (X — py)" ] (5-273) 
其 中 每 个 对 角 元 素 都 是 方差 。 类 似 式 (5-272) : 
Cxx aru Rxx i Jr (5-274) 
协 方差 矩阵 具有 以 下 性 质 : 


o 不 对 称 性 ”Cw 一 Cyx， 由 以 下 可 知 : 
Ch = ELCA — NE — py)? | = EL — p, CX — u,)'] = Cx = Cv 
© 矩阵 缩放 和 向 量 平移 
cov[AX +a,BY + b] = ACwB" (5-275) 
WHF (A, B, a, b) WHR. (X, Y) 为 随机 的 情况 ,但 它们 要 满足 合适 的 维 数 。 
由 于 均值 变 为 E[AX 十 a]= 二 Apx +a, ELBY+b]=Bp, +b, A AX+a 和 BY 十 b 中 分 
别 减 去 它们 ， 得 到 
£[(AX — Au) (BY — Bu) ] = Aé[(X—p,) (Y — uy)! 1B" = ACB" (5-276) 
© 随机 向 量 相 加 
cov[X + Z,Y] = Cw + Cy (5-277) 
对 于 满足 合适 维 数 的 随机 向 量 {,，Y，2Z}， 由 以 下 可 知 : 
EL(X+Z— (u, tp Y — m)" ] =ELX— pp) Y — m)" ] + EEC pF — D") 
=w + Gy (5-278) 


这 些 性 质 也 适用 于 互相 关 和 矩阵 Re 。 自 协 方差 矩阵 具有 以 下 特有 性 质 : 
° 对 称 性 Cir =Cix 。 
e 半 正 定性 (PSD) 对 于 所 有 vÆ0 的 向 量 : 
v Cov = [VL (X pa) (X— py) wv] = EL (X—py))?] 之 0 (5-279) 
KERR Co hA R IERE. WREAK Col). WEL 
EHH Ca EPD (HFA v~O 向 量 ， 式 (5-279) 取 严格 不 等 号 全”) 。 
这 些 性 质 也 适用 于 自 相 关 和 矩阵 Rxx 。 


5.21 高 阶 矩 和 累积 量 


本 节 将 均值 和 方差 (一 阶 和 矩 和 二 阶 矩 ) 的 定义 扩展 到 高 阶 矩 。 
EXE) 随机 变量 X 的 7 HHA: 
u, g[sX"] (5-280) 
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这 种 不 减 去 均值 的 期 望 类 型 也 称 为 原点 矩 ( 非 中 心 ) 。 
Yee 参数 为 a 的 泊 松 随机 变量 ， 三 阶 矩 可 借助 推导 下 列表 达 式 的 闭合 形式 得 到 : 
EXX =D] = expa) Jinin — D E = Ca) fy G-281 


LEME T AEE MARIE R ERA 12. Tees OE akay oS, te 
出 因子 a， 得 到 : 











e[X(X —1)] =2? Sekt) = = a° (5-282) 
oE R E 8 R fa i E AR NR E KOR Z k. 0 S 1. RAELX]=c El p, =ata’, al = 
p — (€[X])2 =at — a =a. < 

ee 参数 为 {c 一 0， Ri 
& aof -— ipis aof (1—5 )de (5-283) 
第 三 个 等 式 是 为 了 去 掉 分 子 中 的 Xx。 因此 : 
4 tes ote) S GJ PW T ' 
fe = (a/n){ dz (a /| = pat (5-284) < 





当 对 函数 的 乘积 进行 积分 时 ， 一 般 进 行 分 部 积分 。 但 请 注意 上 面 的 例子 ， 一 个 简单 的 
操作 (分 母 不 变 的 情况 下 反 向 求 和 ) 得 出 了 两 个 容易 积分 的 部 分 。 由 于 第 二 个 被 积 函数 是 加 
权 值 为 a” 的 柯 西 分 布 ， 积 分 值 为 a 。 第 一 个 积分 肯定 是 无 穷 大 。 因 此 ， 即 使 不 能 定义 柯 
西 分 布 的 均值 ， 也 可 以 定义 二 阶 矩 ( 非 中 心 ),， 但 它 为 无 穷 大 。 由 于 它 没有 用 处 ， 因 此 附录 
A 中 说 它 不 存在 。 这 个 结果 并 不 意味 着 柯 西 分 布 有 无 限 的 宽度 (方差 是 宽度 的 测度 )， 只 是 
由 于 重 尾 ， 定 义 二 阶 矩 的 积分 不 是 有 限 值 (前 面 给 出 的 方差 的 函数 解释 ) 。 


GEED HX) 2404p... HEH 的 N 个 独立 同 分 布 的 随机 变量 ， 样 本 均值 的 
=E, 


ELX’] -L5 > £[X,X,] =a PDA 21 ELX, Je[X.] 1 53 5 £[X:] (5-285) 


其 中 将 N° 个 求 和 分 为 两 部 分 ， es -N 项 ) ， 另 一 83 mhen ND; 第 一 个 
求 和 利用 了 独立 条 件 ， 将 期 望 写成 乘积 的 形式 。 因 此 : 
ELX] = (1/N?)(N? — N) + C/N?) NG, +k) = k to,/N (5-286) 
样本 均值 的 期 望 是 : 


ELX] = +> ELX] = py (5-287) 
这 表明 样本 均值 为 py 的 无 偏 估计 。 它 的 方差 是 
o} = R= EX = ak /N (5-288) 
这 表明 当 样 本 数 N M Kh, X 的 估计 性 能 将 提高 (降低 了 方差 )。 后 面 的 图 9-8 给 出 了 一 个 
高 斯 分 布 {X,} 的 结果 的 例子 。 < 
EXCP) 均值 为 px 的 随机 变量 X 的 元 阶 中 心 矩 为 : 
n. EEL(X— py)” ] (5-289) 


方差 是 二 阶 中 心 矩 ， x=, 。 概 率 密度 函数 关于 均值 对 称 的 随机 变量 的 奇数 阶 中 心 
矩 为 0。 根 据 定义 很 容易 得 出 该 结论 : 


FAE - F (x — uy)" fx(x)dx (5-290) 


观察 发 现 ， 当 郊 为 偶数 时 ，(z 一 px) BRK, Sn 为 奇数 时 它 是 奇 函 数 。 由 于 偶 
函数 (这 种 条 件 下 的 fx(z)) 和 奇 函 数 的 乘积 为 奇 函 数 ， 当 n 为 奇数 时 ,乘积 的 面积 肯定 是 
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0( 除 非 它 不 存在 ， 如 柯 西 分 布 ) 。 
定理 5-11 FHA yn, oh HMMEEX Hn HP ce: 
re ee oes nn 为 偶数 
Pew NO n 为 奇数 
WERA: (Papoulis，1965) nn 为 奇数 的 情况 前 面 已 经 借助 对 称 条件 完 成 了 证 明 。 设 
Y 会 X 一 jy， 重 写 高 斯 概率 密度 函数 面积 的 表达 式 如 下 ( 见 附录 D 概率 密度 函数 的 积分 ): 


(5-291) 


F, exp( 一 六 /202)dy = 2x0" (5-292) 
RA a 21/20? : 
[F exp ay2)dy = Vx/a (5-293) 
对 等 式 两 边 反复 关于 a 进行 微分 ， 当 n=2，4，6 时 ， 结 果 为 ; 
| ex 一 apdy =a (— 1/2) Ve (5-294) 
i. y'exp(— ay? dy =a *⁄2 (1/2) (3/2) Vx (5-295) 
[a exp ay? dy =a (1/2) (8/2) (— 5/2) /x (5-296) 
由 于 两 边 的 负 号 总 是 被 抵消 ， 根 据 n 增 大 时 的 结果 ， 得 到 通用 表达 式 : 
[yep ay dy = a? 1/29" Em = (5-297) 
该 乘积 仅 包含 奇 正 整数 的 阶乘 ， 它 被 称 为 双 阶乘 ， 可 改写 为 : 
Tl @m—1) = nA k D: (5-298) 
代入 a 得 到 k 


J> y" exp(— y? /20° dy = (2g?) 2/2 (1/2) "Vx (2n) 1/2"n! 


=" V2xo (2n) ! /2"n! (5-299) 
由 于 在 整个 表达 式 里 ，n 总 是 伴随 着 2, 可 以 定义 偶数 mr 会 2n。 等 式 两 边 同 除 以 
V2xo ， 定 理 得 证 。 
因此 ， 当 ?为 偶数 时 ， 所 有 高 斯 分 布 的 中 心 矩 与 方差 成 正比 : 
Ben = [n!/2" (n/2)!] k2 (高 斯 ) (5-300) 
4 阶 中 心 矩 有 简单 的 表达 式 : po 30 a 三 3o 。 高 斯 随机 变量 的 原点 矩 比 较 复 杂 ， 但 
当 jy 二 0 时， 它们 可 简化 为 式 (5-291) 。 
EM EH) 随机 变量 X tn RRBs T n SP S EBE VA cx: 
Rp yE (5-301) 
分 母 中 的 指数 确保 标准 矩 无 量 纲 。 显 然 K. 二 0、 六 ,三 1。 这 里 有 两 个 重要 概念 ， 偏 度 
冯 3 和 峰 度 人 六 , ， 当 定义 完 累积 量 后 将 讨论 它们 。 
定义 (累积 量 ) ”随机 变量 义 的 n 阶 累 积 量 为 : 
ty ec? (0) (5-302) 
其 中 cPORRRER BK cx(1) 的 n 阶 导 。 
本 章 稍 后 将 定义 累积 生成 函数 。X 的 均值 和 方差 分 别 是 前 两 个 累积 量 : py Sm 三 
cg (0), a Ser =c (0)。 虽 然 这 两 个 量 分 别 是 中 心 矩 和 原点 矩 ， 但 高 阶 累积 量 一 般 与 任 
何 类 型 的 矩 都 不 完全 一 致 ， 将 更 复杂 。 
偏 度 是 分 布 不 对 称 性 的 度量 : 累积 分 布 函数 之 和 或 概率 密度 函数 的 面积 集中 在 “中 心 ” 
的 左 侧 ( 偏 度 为 正 ) 或 右 侧 ( 偏 度 为 负 )。 对 于 单 峰 分 布 ， 下 列 关 系 通 常 适用 于 X 的 均值 、 
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众 数 m, 和 中 位 数 m., BER AERE, ME: yx 二 mr: <m., EWE: m.<m.< ux, 
对 于 某 些 分 布 ， 上 述 表 达 式 中 的 均值 和 中 位 数 可 能 会 互 换 位 置 。 
定义 ( 偏 度 ) 随机 变量 X 的 偏 度 是 : 
Nn = Z. Au /co (5-303) 
它 也 可 以 定义 成 与 累积 量 有 关 : 
y 会 ks /ri (5-304) 
常用 符号 y 表示 。 

当 概率 密度 函数 对 称 时 ， 均 值 、 中 位 数 和 众 数 相等 ， 如 高 斯 分 布 ， 此 时 偏 度 为 0。 从 
附录 A 分 布 的 总 结 中 发 现 , 本 书 中 讨论 的 大 多 数 分 布 的 偏 度 为 正 ， 只 有 少数 分 布 的 偏 度 为 
0 或 负 值 。 

图 5-16 画 出 了 三 个 概率 密度 函数 以 说 明 三 种 类 型 的 偏 度 。 对 数 正 态 分 布 的 偏 度 为 ; 


yı = (explo) +2) JSexp(o*) —1 (5-305) 
对 于 任意 到 之 0， 上 式 为 正 。 二 项 式 概率 密度 函数 的 偏 度 为 : 
yı = (1—2p)//Npq (5-306) 
X p>1/2 时 它 为 负 值 。 对 于 任意 w 之 0， 显 然 拉 普 拉 斯 分 布 的 偏 度 为 0。 


— 对 数 正 态 :4=o =1, 
ah- ' 拉 普 拉 斯 :x =0,a=2 


一 二 项 式 :N= 5,p= 0.75 





图 5-16 反映 三 种 类 型 偏 度 的 概率 密度 函数 。( | ) 正 yi ==z6.18(XF3R F£); (ü )X = 二 0( 拉 普 拉 斯 ); 
(ili) fin, == —1. 19( 二 项 式 ) < 


2 — AHF S ri AE WJ bA ME Fw IE, 
定义 ( 峰 度 ) 随机 变量 X 的 峰 度 为 : 


Bea pe, /ox i (5-307) 
HP yu LAPP CH, RHEELLAKLYOBCA, CHRREEL: 
Y2 = k, / =. 3 (5-308) 


常用 符号 Y2 RF. 

通常 首选 超额 峰 度 ， 因 为 高 斯 随机 变量 的 超额 峰 度 为 0， 因此 “超额 ”是 指 相对 于 高 斯 分 
布 而 言 。 峰 度 是 随机 变量 的 概率 密度 函数 相对 于 高 斯 概率 密度 函数 尖锐 或 平坦 的 测度 。 但 是 
从 后 面 介 绍 的 函数 观点 来 看 ， 峰 度 更 多 的 作为 分 布 重 尾 的 测度 (同样 相对 于 高 斯 分 布 )。 

GED 图 5-17 比 较 了 3 个 概率 密度 函数 的 峰 度 。 瑞 利 概率 密度 函数 的 超额 峰 度 为 : 
_ 24n — 16 — ôr? 
—  (4— x)? 
这 意味 着 它 的 重 尾 与 高 斯 概率 密度 函数 (为 王 0) 的 没有 太 大 区 别 。 另 一 方面 ， 指 数 概率 密 
度 函 数 的 7 二 6。 第 3 章 的 表 3-4 总 结 了 几 种 对 称 分 布 的 尾部 类 型 。 


Y2 = 0. 2451 (5-309) 
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一 一 高 斯 :y=0,c=1 
-- 指数 :4=1 
瑞 利 :a = 0.5 


= 


': 
` 
3 


= ....... 
EET 
- 





-5 0 5 
x 
图 5-17 反映 三 种 类 型 峰 度 的 概率 密度 函数 。( i ) 标准 高 斯 (为 =0); CI) A=1 BJ 38 38 (y, = 6); 
Ci) a= 0. 5 AY Fw All Cy, +0. 2451) < 


第 3 章 和 本 章 开 头 都 提 到 通常 用 四 种 矩 表 示 分 布 的 位 置 和 形状 特征 : ( i ) 均 值 py (一 
阶 原点 和 矩 ); (证) 方差 oi CPOE); (ij WE 入 (三 阶 标准 中 心 矩 );， (iv ) 超 额 峰 度 y, 
( 移 位 的 四 阶 标准 中 心 矩 )。 尽 管 高 阶 矩 在 信号 处 理 中 有 着 广泛 的 应 用 ， 但 一 般 不 使 用 高 阶 
和 矩 来 描述 分 布 。 为 便于 符号 描述 和 比较 ， 表 5-5 总 结 了 和 矩 、 累 积 量 、 母 函数 ( 稍 后 介绍 ) 。 
与 本 书 前 面 的 做 法 一 样 ， 为 保持 符号 简洁 ， 有 时 很 多 符号 省 略 了 下 标 X。 


表 5-5 和 矩 、 累 积 量 、 母 函数 的 总 结 


符号 定义 

By, =ELX" ]= mP (0) n Bt I S FB 
px =p, =M (0) 均值 (一 阶 原点 矩 ) 
Hen = ELCX— px "J n WPG 
Ox = n? 方差 (二 阶 中 心 矩 ) 
cx =0x/px 变异 系数 
Kea r Pen /号 n 阶 标 准 中 ap 1E 
xa =c (0) n 阶 累积 量 
Yi = pe = He, /0 = 03/03? 偏 度 ( 三 阶 标准 中 心 矩 ) 
Fes u A oy 峰 度 (四 阶 标准 中 心 矩 ) 
¥2 = Ka [eg = Be —3 超额 峰 度 

生成 函数 类 型 
mx (t) = €LexptX)] = Ý tp, /n! 和 矩 母 函 数 
Mx (t) = ELexp(t(X—pey))] = >) ma, nl 中 心 矩 母 函 数 
cx) = In(mx(t)) = >] mK,/n! 累积 量 母 函数 

n=l 
$x(w) = ELexp(jwX)] = >) Gow)"p, /nl! 特征 函数 
n=] 


Gx(t) = €[*] = 5 pxLa]e* LE K 9 
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5.22 偏 度 的 函数 观点 

可 以 从 函数 的 观点 说 明 偏 度 是 分 布 不 对 称 性 的 测度 。 前 面 提 过 如 果 概 率 密度 函数 关于 
均值 对 称 ， 则 所 有 奇数 阶 中 心 距 为 0。 这 是 因为 当 ? A ar BT, CX — pe)" 为 奇 函数 ， 因 此 
它 的 期 望 是 零 。 奇 数 阶 中 心 矩 随 着 概率 密度 函数 不 对 称 性 的 增加 而 增 大 (始终 是 0 的 一 阶 
中 心 矩 ELX 一 和 除外 ) 。 三 阶 中 心 距 为 : 

Mes = ELX — py VI = | (e-u fe @de (5-310) 

图 5-18 画 出 了 指数 和 瑞 利 概率 密度 函数 (zx 一 yx)”fx(z) 的 例子 ， 两 个 分 布 的 方差 均 为 

1， 因 此 yx 和 偏 度 相等 。 图 中 也 画 出 了 累积 面积 


C(x) = | Copy)? fr yao (5-311) 
2 2 
1.5 1.5 
< < 
O So 4 
= 
© 0.5 = 0.5 
x o zo 
š š 
于 -0.5 2-0.5 
x > 
š = £ +1 
E-15 及 -1.5 





图 5-18 偏 度 的 函数 观点 ， 画 出 了 fxr), (t> yuy) ，(X 一 jx) fx (z), C(z), a) A=1 的 指数 分 布 
(u=; b) a= f2/(4— x) 的 瑞 利 分 布 (wx =1. 9131) 


"j z fE fx(z) 的 区 间 内 变化 时 ， 则 E[(X 一 wx)]=limCCz)。 由 于 概率 密度 函数 向 左 “ 倾 
斜 "， 观 察 发 现 随 着 z 的 增加 虚线 下 的 面积 最 终 为 正 ， 同 时 随 着 (z 一 ws) 的 显著 增加 逐渐 
收敛 到 偏 度 。 这 两 个 分 布 的 偏 度 都 为 正 。 也 可 以 用 其 他 奇数 的 高 阶 中 心 矩 度量 这 种 不 对 称 
性 ， 但 通常 使 用 三 阶 中 心 矩 。 

GED 这 个 例子 给 出 了 均值 为 X、 方 差 为 1/X? 的 指数 随机 变量 ， 对 于 任意 人 值 ， 其 
偏 度 为 定 值 。 根 据 定义 


F: | = €[ax —1)] (5-312) 


注意 了 二 XX 为 标准 指数 分 布 (均值 为 1)， 因 此 上 面 的 期 望 最 终 与 无关。E[(Y 一 1);]= 
2 留 作 练 习 。 从 附录 A 的 总 结 中 可 以 看 出 ， 指 数 分 布 是 本 书 少 有 的 偏 度 与 参数 无 关 且 是 非 
零 整 数 的 概率 密度 函数 之 一 。 < 


5.23” 峰 度 的 函数 观点 
最 后 ， 从 函数 的 观点 说 明峰 度 取决 于 概率 密度 函数 的 重 尾 。 四 阶 中 心 矩 为 : 


y 


m= ELK ag) = |` emg) fe adden (5-313) 
图 5-19 画 出 了 拉 普 拉 斯 和 高 斯 概率 密度 函数 的 (zx 一 uy )*fx(z) 和 累积 面积 : 
Dii e | co Peete (5-314) 


当 z 在 fx(x) 的 区 间 内 变化 时 ，EL(X 一 jx)* 二 limD(x)。 这 两 种 情况 下 的 方差 均 设 置 为 


r— 
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1， 使 得 ,与 峰 度 相 等 ( 减 去 3 得 到 超额 峰 度 )。 观 察 发 现 拉 普 拉 斯 概率 密度 函数 的 虚线 有 
更 大 的 面积 ， 从 而 其 峰 度 比 高 斯 概率 密度 函数 的 大 。 出 现 这 种 情况 是 因为 exp( 一 x) 的 尾部 
下 降 速 度 比 exp( 一 zz ) 慢 ,而 (x 一 y,)* 随 着 z 大 于 或 小 于 均值 迅速 增加 。 





= (Xe 
= = (0 FAX) 
D(x) 


SS msi ie ieee ivan asas 


hA) (X00, (X40) hdx), D(X) 
BAX) x- (X-u) FAY), D(x) 





Æ 5-19 BERAWA, HIH fx (ar), (yuy), (xuy) fx (a) Al D(x), a) {1 二 1，a 二 V2} 的 拉 
普 拉 斯 分 布 ; b) {jy 二 1，o 二 1) 的 高 斯 分 布 


从 附录 A 的 总 结 中 发 现 ， 一些 分 布 的 超额 峰 度 与 概率 密度 函数 的 参数 无 关 。 
很 容易 从 高 斯 随机 变量 发 现 这 一 点 : 其 四 阶 中 心 入 j= 二 30* ， 得 到 y, =u. / ° 一 3 二 0。 对 
于 指数 分 布 ， 结 果 类 似 例 5-40 中 的 偏 度 : 

EL(X —1/a)*] 
1/A‘ 
这 是 因为 4X 与 4 无关。 减 去 3 得 到 Ys 二 6。 最 后 ， 对 于 参数 为 {pra}. HEA 20° HUF 
拉 斯 分 布 : 


= EL[QX—1)]=9 (5-315) 





ELK Sd = 1 ytexp(— | y| /2a)dy (5-316) 
其 中 YY 是 参数 为 {yy 二 0，a} 的 拉 普 拉 斯 分 布 。 将 变量 改 为 z= y/a, SH: 
7 一 G/8)| ztexp(— |z|/2)de-3=3 (5-317) 
对 于 那些 峰 度 与 比例 参数 无 关 的 随机 变量 ,显然 四 阶 中 心 矩 及 ,和 分 母 的 归 一 化 系数 
ot 之 间 有 一 定 的 关系 。 定 理 5-11 明确 给 出 了 高 斯 随机 变量 两 个 参数 间 的 关系 。 < 


5.24 母 函数 


本 节 将 讨论 像 特征 函数 那样 可 以 用 于 产生 矩 和 累积 量 的 期 望 。 
TEM (HA HH) 随机 变量 X 的 矩 母 函数 Cmoment generating function, MGF) A 


mx (t) &ELexp(tX) |] = 2; a = ye (5-318) 
EP LCR, p,=1. nE ERT: 
u, =m” (0) (5-319) 
HP mi? De mOKF t 6) n UF. 
矩 母 函 数 并 不 总 是 存在 ， 但 特征 函数 通常 存在 。 回 想 一 下 ， 特 征 函 数 在 指数 @x(o) = 
E[exp(jwX)] 的 指数 项 中 包含 j= V 一 1， 且 与 傅 里 叶 变 换 类 似 。 很 容易 通过 展开 式 (5-318) 
的 最 后 一 个 表达 式 来 验证 mx (2) BJ EE EFFE JA : 


Ë t` u, 
mx(t) = 1+, +2 +84 (5-320) 


2! 3! 








第 5 章 JM 393638 211 


例如 ， 求 导 两 次 得 到 : 
m? (ty EOF Op +t, H (5-321) 
显然 ， 当 ;过 0 时 ， 受 上 的 寡 次 影响 ，z 及 以 后 的 各 项 均 不 为 0。 令 式 (5-321) 中 的 
等 于 0， 去 掉 这 些 项 ， 仅 保留 了 不 是 上 的 函数 的 二 阶 矩 : 
my (t) | <0 = (5-322) 
设 义 是 标准 高 斯 随机 变量 。 变 换 Y 二 aX 十 入 产生 了 参数 为 (uso) 的 另 一 个 高 
斯 随机 变量 。Y 的 矩 母 函数 是 : 
mx(t) =€Lexp(t(oX + p)) J 





> 


=exp(y.)| _ expCox) ; exp(— 2° /2)dx 


T 


=exp(tu) Fale tex — x°)/2)dzx (5-323) 
x 


写成 平方 的 形式 为 2taz—z2=(z—to)° +Ë o, WAE RN X A (5-323), HERB 
参数 (u= 0,o) 的 高 斯 概率 密度 函数 的 面积 ， 因 此 : 


mx(t) = exp(tu) —=| expt /2)exp(— (z — ta)? 2 


V2r 
= exp(tu + to /2) (5-324) 
从 而 
mx (0) = (u+ to° )exp(tu + #@ /2) | —, = pe =>. pe, (5-325) 
H 


m2 (0) =o expltp + o° /2) | =o + (g + to? )2exp(tu + a° /2) | =o 
=0 + ° = p, (5-326) < 
和 矩 母 函 数 及 其 导数 的 例子 如 图 5-20 所 示 。 根 据 图 中 导数 在 :一 0 时 刻 的 值得 出 矩 。 从 
标准 高 斯 随机 变量 (均值 为 0) 对 应 的 图 5-42a 可 以 得 出 结论 ， 由 于 奇数 阶 导 数 必 然 是 奇 郴 


数 ， 因 此 奇数 阶 矩 为 0。 由 于 j= 二 0， 5-42a 中 的 原点 矩 满足 高 斯 中 心 矩 的 计算 
A (5-291), 


mA, mi (Dmx(D 
mdi mg (mg À 





a) b) 
图 5-20 例 5-42 的 高 斯 矩 母 函 数 及 其 导数 。a) jy 二 0, o=1; b) py 二 1, o=1 


设 义 是 参数 为 {N,p} (g 全 1 一 加 的 二 项 式 随机 变量 。 它 的 矩 母 函数 是 : 


N 


mx (t) =>) ( )ora* expand 


n=0 


N 
=>) (Jipe Tay = [pexp() +qJ* (5-327) 
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其 中 使 用 了 附录 正中 的 二 项 式 公式 。 观 察 发 现 


m? (0) = N[bexp(z) 十 gj]> pexp(2) |,-0 = Np = p, (5-328) 
且 
mË (0) =N(N — 1)[pexp(t) +q]? p exp?) |= + N[bexp(z) + q] pexp(t) | ,=o 
=p*N(N—1)+Np = N: p: + Npq = p, (5-329) 
下 面 的 矩 母 函数 的 扩展 也 许 不 是 众所周知 的 。 < 
MCP CHARA) 随机 变量 X 4 HoH HA (central moment generating function, 
CMGF) Æ 


SL — ma)" 
Mx (t) £€Lexp(t(X 一 wx))] = >»; n ELX — px)" J 


= >) Ee (6-830) 
n=0 n=0 n! 
其 中 tER, eo Le N Br Poe Pr eto TF ; 


n! 


n., = MP (0) (5-331) 
PCPA RA *J zÀ RE šh 3 65) JÉ =Ñ : 
Mx(t) = exp( 一 Axt) ELexp(tX )] = exp(— yyt )mx (t) (5-332) 


下 列 母 函数 可 用 于 产生 累积 量 。 
定义 (累积 量 母 函数 ) MARS X 4 RRB BRA (cumulant generating function, 
CGF) Z #E #F BH 65 x+ 3⁄ ; 


oo 





ex(t) A In(ELexp(X)]) = In(mx(D) = De (5-333) 
n=1 > 
Mex OKT t K m 阶 导 并 令 1 二 0， 得 到 mHRRE: 
Kn = cy” (0) (5-334) 


需要 注意 求 和 的 下 限 是 1( 受 对 数 影响 ) ， 可 认为 n=0 时 该 项 为 0。 
例 5-42 中 高 斯 随机 变量 矩 母 函 数 的 对 数 是 


cx (t) = tp + to ° /2 (5-335) 
很 容易 得 到 累积 量 如 下 : 
ki =c? (0) = p+ to? |o = p (5-336) 
ks =c (0) =o (5-337) 
ka =0,n> 3 (5-338) 
正如 前 面 提 到 的 ， 任 何 分 布 的 一 阶 、 二 阶 累 积 量 都 是 均值 和 方差 ， 但 高 斯 随机 变量 的 
高 阶 累积 量 不 一 定 是 零 。 < 
假设 指数 随机 变量 的 矩 母 函数 为 : 
mx (t) =a) expdz)exp( 一 iz)dz= > (5-339) 
其 累积 量 母 函数 为 : 
ex (2) = Ina). —ba—a__——- (5-340) 
HT: 
cf GO = a T (5-341) 
累积 量 有 以 下 简单 的 形式 : 
ty = (= TA" (5-342) 
最 后 ， 提 出 一 个 只 适用 于 离散 随机 变量 的 母 函 数 。 < 
定义 (概率 母 函 数 ) 离散 随机 变量 X 的 概率 母 函 数 (probability generating function, 
PGF) 为 : 


Gx G) £€[2*] = >) px[ =] (5-343) 
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1ER。 对 Gx(t) 关 于 + 求婚 阶 导 并 令 1 一 0， 得 到 概率 为 : 
P(X = m) = GP (0)/m! (5-344) 

H TR m 阶 导 后 的 第 一 个 非 0 项 为 m! pxLm]， 所 以 最 终 的 结果 在 分 母 里 有 m!。 很 容 
易 验 证 下 列 性 质 : 

e 概率 和 Gx(1) 王 1( 即 px(z) 是 有 效 的 概率 质量 函数 ) 。 

o 特征 函数 (CF) @x(je)=CGx(exp(jo)), 

e 期 望 E[X]=G (1)。 

o 464} HH (MGF) mx (t)=Gx(exp(t)). 

© RHA k (FMGF) ELX), ]=G A), HACK), 是 递减 的 阶乘 ( 见 附录 B). 

方差 =G +G AGL y]. 

eX#Y33 Grr) =Gx(t)Gr lt); 

需要 注意 的 是 ， 如 果 三 1 时 期 望 存在 ， 用 于 阶乘 矩 母 函 数 的 Gx (1) 也 适用 于 连续 随机 
变量 。 
Gi 





ma 对 于 几何 随机 变量 : 


G0) =D) pte = its (5-345) 
z=0 
RE GO)=1, il 
ELX] =z Lay l= = q/b (5-346) 
P(X = 1) -ey = 加 (5-347) < 


5.25 NAME 


下 面 的 定理 给 出 了 高 斯 随机 变量 的 四 阶 矩 ， 在 后 面 第 12 章 自 适应 滤波 器 中 将 用 
到 它 。 
定理 5-12 H (X,,.X2,X3.X,} 是 零 均 值 联合 高 斯 随机 变量 。 它 们 的 联合 矩 为 : 
ELX: X, Xs X, ] = ELX: X. | g[X, X. ] + £[ X, Xs] ELX2X, ] + ELX,X, ] ECX: X. ] 
(5-348) 
HERA: 定义 高 斯 随机 向 量 半 会 [X!，X。，X3，X] ， 将 Rx 和 44 二 0 代 人 式 (5-109) 后 
得 出 其 特征 函数 为 : 
®x(@) = exp( 一 OIRAO ) (5-349) 
其 中 四 = [on sex sos sa)". E F X A 0, WK RRE E (ARK E BPE AB 
FEE | 的 函数 )。 通 常情 况 下 ， 这 样 的 指数 函数 可 以 用 麦克 劳 林 级 数 分 析 : 


xlo) = 1+ 1/20 Rxøo + (1/8)(@o@!Rxx@ )° + + (5-350) 
表示 高 阶 项 。 四 阶 矩 的 计算 方法 如 下 : 
wd DGx(Co) i 
ELX: X, X, X, = = aa Sue p (5-351) 


求 导 并 将 @=0 代入 后 ， 式 (5-350) 中 只 有 第 三 项 非 0: 
K. 3 (@' Rxx@ )° F 
ELX: X, X, X, ] = (1/8) R lg (5-352) 
自 相 关 和 矩阵 Rxx 的 16 个 元 素 均 为 ELX,X, ] 的 形式 ， 其 中 m. n=l, 25 35 4, 由 下 式 
1 E (o Rewo) 有 16°=256 项 ， 


(o Rwo)’ = >: 5 5 ee €[X.X,] €[X,.Xe] (5-353) 


=] i=1 m=1 n=1 
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然而 ， 由 于 微分 后 代入 了 w= 二 0， 因 此 只 保留 了 下 标 (wro somon) 互 不 相同 的 项 ， 因 
为 其 他 项 有 一 个 或 多 个 o 的 次 数 超过 BRA 4! —24 个 这 样 的 非 零 项 , 但 互 不 相同 的 
只 有 3 项 ,每 项 出 现 了 8 次。 因此， 消去 式 (5-352) 的 因子 1/8， 最 终 : i 

ELX, X, X, X. ] = ELX: X; ] ELXs X, ] + ELX X, ] ELX: X. ] + €ELX, X, ] ELX, X, ] 
(5-354) 

可 以 看 出 ， 零 均值 高 斯 随机 变量 的 四 阶 矩 可 简化 为 二 阶 矩 之 和 。 事 实 上 ， 所 有 零 均 值 
联合 高 斯 随机 变量 的 偶数 阶 矩 都 可 以 简化 为 二 阶 原点 矩 的 函数 ， 而 其 奇数 阶 矩 都 是 零 ( 类 
似 前 面 的 一 维 高 斯 随机 变量 )。 当 {X,} 的 方差 均 为 a 时 (或 当 它们 是 同一 随机 变量 X 的 样 
本 时 )， 式 (5-348) 简 化 为 : 

ELXi X; X, X, ] = 302 (5-355) 
这 是 式 (5-291) 中 的 2 一 2， 均 值 为 0 的 结果 。 


5.26 非 线性 变换 的 期 望 


一 般 来 说 ， 很 难得 到 几 个 随机 变量 非 线性 函数 期 望 的 闭合 表达 式 。 但 是 ， 如 果 随 机 变 
量 服从 互相 关 非 零 的 联合 高 斯 分 布 ， 当 非 线 性 函数 无 记忆 时 ， 有 可 能 得 到 有 用 的 期 望 。 由 
于 无 记忆 非 线性 经 常 出 现在 工程 问题 中 ， 而 高 斯 噪声 总 是 不 可 避免 地 存在 ， 因 此 分 析 该 期 
望 有 着 重要 的 现实 意义 。 

下 面 的 定理 将 互相 关 函 数 的 导数 和 非 线 性 函数 的 导数 联系 在 一 起 。 因 此 ， 如 果 非 线性 
函数 的 导数 是 一 个 简单 的 表达 式 ， 可 以 很 容易 计算 出 期 望 。 尽 管 该 定理 适用 于 N 维 联合 
高 斯 随机 变量 ， 但 这 里 仅 给 出 N=2 的 结果 ,并且 没有 给 出 证 明 过 程 (Price，1958; 
McMahon，1964; Pawula，1967) 。 

定理 5-13(Price，et al) 设 X # X, 是 相关 系数 为 po 的 联合 高 斯 随机 变量 ， 并 假设 它 
们 通过 了 无 记忆 非 线性 函数 : gi (Xf g，(X,)。 定 义 变换 后 的 随机 变量 的 互相 关 函 数 为 : 








R, &€(.g: CX) g2 (X2) J (5-356) 
那么 
ƏR DB"gi(CXi) oO"g2(X,) 
Se = 9) So es es ee -357 
Op" a aX; aX} ] (5-357) 
对 于 更 一 般 的 函数 hX, Xo) 互相 关 为 ; 
Ri 2.8[b XX, 7] (5-358) 
微分 为 : 
a"R, OAC X, + X2) 
Op" eL OXON ] ‘ ) 
D 考虑 “ 硬 限制 ” 非 线 性 符号 函数 : f% 
gı (z) = g: (x)= sgn(z) š (5-360) 
一 阶 导 是 狄 拉 克 OBR: 
`Š Z ¿zy = 28625 (5-361) 
Ox 
假设 零 均 值 随机 变量 {Xi，X:} 具 有 单位 方差 。 将 式 (5-361) 代 入 式 (5-357) 得 到 
ORs 一 4 E[S(CX )5CX。)] 
op 


= ñ. )ó(z;)exp(— Lai — 2əzi x: + z; ]/2(1 — p’)) dx, dx; 
2 
= (5-362) 
nyl — 
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这 里 利用 了 二 元 高 斯 概率 密度 函数 。 观 察 发 现 6 函数 大 大 简化 了 二 重 积分 ， 它 的 筛选 特性 
导致 指数 函数 只 在 z =z,=0 有 非 零 值 。 这 个 例子 说 明了 该 定理 的 用 处 : 对 某 些 非 线 性 函 
数 进行 微分 (特别 是 包含 阶 跃 或 符号 函数 时 ) 后 ， 可 能 产生 期 望 的 简化 形式 。 最 后 ， 对 
式 (5-362) 关 于 o 进行 积分 可 以 得 到 尺 :， 但 需要 确定 积分 下 限 。 当 p 二 0 时 ，{Xi，Xs} 不 
相关 ， 式 (5-356) 的 期 望 分 成 两 部 分 ， 由 于 非 线性 函数 为 奇 函 数 ， 因 此 各 部 分 均 为 0， 从 而 
R,=0. Pru 





l: dR, =f A (5-363) 

R, =E[sgn( X, )sgn(X:)] = (2/x)arcsin(p) (5-364) 

即 为 要 求 的 期 望 。 图 5-21 中 画 出 了 该 结果 ， 横 坐标 为 相关 系数 p。 受 符号 函数 的 影响 ， 

R; |<1. < 
RE 保持 例 5-47 随机 变量 的 条 件 不 变 ， 考 虑 更 一 般 的 非 线性 函数 : 

h(xiyzs) = |z + xz; |— |z, — x; | (5-365) 


其 对 应 于 一 个 “整流 器 ”。 由 于 该 函数 不 能 分 成 两 个 函数 的 乘积 ， 所 以 使 用 式 (5-359) 对 应 
的 定理 的 扩展 。 微 分 结果 为 : 


Əh (x, »Z2) =sgn(x, + x) — sgn(x, = zz) (5-366) 
Ox) 
2 
hlt + x2) =2[6(z +22) — elt — z+) ] (5-367) 
DZzlOzsz 
6 函数 再 次 大 大 简化 了 期 望 : 
A SEE: e 1 j Jri = = 
[ r Si |= -je [8G + 22) — 8x, — 22)] 


KVL 
exp(— (zi — 2or, x, + z2)/2(1 — p’)) da, dzz 


-— © Lexp(—2t/(1 +p)) + exp(— at / 0 — p)) Jda: 
| (5-368) 
被 积 函 数 包括 两 个 零 均 值 高 斯 概率 密度 函数 ， 其 方差 分 别 为 : (1 一 p)/2 和 (1 十 p)/2。 
利用 方差 为 of 的 高 斯 概率 密度 函数 的 积分 等 于 : 
| exp a*/2 de = 2no (5-369) 
得 到 : 
[es Vn(l+tp) + Vr(l—p) =Í ber poe 
3X dX, x /1—p VatVI—p Vitp 
最 后 ， 利 用 边界 条 件 R,=0 时 p 二 0， 式 (5-370) 关 于 p 进行 积分 如 下 : 


R, 
| Rp =x 
0 





| (5-370) 





+l last Z=] (5-371) 
得 到 期 望 : 


Ry = ELX +X,|— IX, —X,|] = FLVIT “Taal (5-372) 
vid 


此 结果 也 绘制 在 图 5-21 F. ARE, Se SU E E lol = 1 也 就 是 完全 相关 时 ， 
|R, |=œ1. 5958， 该 值 小 于 X, =+X, 时 对 应 的 |R; | 二 2。 这 个 例子 表明 ， 随 机 变量 完全 相 
关 和 相等 (概率 为 1) 不 等 价 。 
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0.5 
< 
E q 
= 
-0.5 
-1.5 
-1 -0.5 
图 5-21 
习题 
简单 随机 变量 


5-1 $ XES {u= 0,a) 的 拉 普 拉 斯 随机 变量 。 
定义 映射 ; 
yall |X|<1 
1/2, |xX|>1 
写 出 简单 随机 变量 Y 的 表达 式 并 给 出 它 的 概 
率 质量 函数 。 
5-2 ”证明 二 项 随机 变量 是 一 个 简单 随机 变量 。 
5-3 HSE N= RAM FE =P KA: (— 0,0], 
0,2] 和 (2,00) 定义 
0<X<2 


=], 
vado, 
ly K> 2 
其 中 X 是 标准 高 斯 随机 变量 。 写 出 简单 随机 
变量 Y 的 表达 式 并 给 出 它 的 概率 质量 函数 。 
期 望 
5-4 (a) 证 明 如 果 X BELX]=0 的 非 负 离散 随机 
变量 ,那么 P(X=0)=1。 
(b) #8 (a), MRELXJ=1, 那么 P(X=1)=1, 
5-5 ”计算 参数 {N,p} 的 二 项 随机 变量 的 ELX] (不 
能 利用 特征 函数 和 和 矩 母 函 数 ) 。 
5-6 ”对 于 参数 (N, M,n) 的 超 几 何 随机 变量 ， 重 
复习 题 5-5。 


5-7 证 明 非 负 离 散 随机 变量 X 的 ELX] = 》) 


P(X >n). 

58 如 果 连 续 随 机 变量 X 的 期 望 有 限 ， 证 明 
lim | z | fxCz) 一 0。 

59 计算 参数 (wo} 的 对 数 正 态 分 布 随机 变量 的 
ELX]( 不 使 用 特征 函数 和 和 矩 母 函数 )。 

5-10 对 于 参数 (op) 的 贝塔 随机 变量 ， 重 复习 
题 5-9, 


(5-373) 


X = 0 
(5-374) 


0 0.5 1 


相关 系数 p 
分 别 利用 式 (5-364) 和 式 (5-372) 得 到 的 例 5-47 和 例 5-48 相关 系数 p 对 应 的 非 线性 期 望 。 有 < 


函数 的 期 望 

5-11 设 久 是 参数 {1 二 0，o}) 的 高 斯 随机 变量 。 
(a) 求 Y= 二 ul(X) 的 EL[Y] 和 方差 op， 其 中 
u(。，) 是 单位 阶 路 函数 ;(b) 对 于 Z=ulX— 
1)， 重 复 (a)。 

利用 习题 5-11 中 的 X, R Y= | X| ñj£[Y] 
和 方差 路 (Y 为 半 正 态 分 布 ) 。 

R Y=sen(X—5) Ww, HH X 是 参数 为 
p 的 几何 随机 变量 ， 取 值 范围 为 Z+ 。 

R Y=exp(|X—1/2| ) 的 期 望 , Hep xX 
[一 1，1] 的 均匀 分 布 。 

将 ELx(X 一 c)] 写 成 累积 分 布 函 数 Fx (x) 的 
ÉR, Hp ul + ) EA i RR eK. FA 
(a) 期 望 的 定义 ; (b) 条 件 期 望 ;(c) 对 于 
E[sgn(X 一 c)] 重 复 上 述 问题 。 

设 X 是 参数 >]1 的 指数 随机 变量 。 求 
(a)€Lexp(X)]; (WELCO — X) Irna CX), 
Hp + ) 是 指示 函数 。 

设 (X, ts XN) 是 参数 为 A 的 独立 同 分 布 的 
指数 随机 变量 。 求 ELXo ] 和 ELXow ]， 其 中 
Xa 和 Xo 是 最 小 值 和 最 大 值 ( 顺 序 统计 量 ) 。 
利用 特征 函数 证 明 ， 当 X 和 了 相互 独立 时 ， 
Z= X—Y 的 概率 密度 函数 是 确定 性 互相 关 
fz (z)= fy (y) * fx(zx)( 见 式 (4-160))。 

条 件 期 望 

5-19 设 X 和 YR 有 三 角 二 元 概率 密度 函数 
fzx, y)=[u(y)—u(y—1)][u(z=+ y— 
1)—u(z—y+1)], RELXY] MELY |X]. 
当 {X,) 独 立 同 分 布 并 且 与 N 相互 独立 时 ， 随 


机 和 Y 二 》\X, 的 均值 是 E[Y]=ELXJELN]。 
求 Y 在 条 件 N 下 的 方差。 


5-17 


5-20 


5-21 REN, p) 的 二 项 随机 变量 X 的 ELX| X>. 


522 iY = ][x,, 其 中 {X,} 是 独立 同 分 布 且 在 


n=1 
[0，1] 均 匀 分 布 的 随机 变量 ，N 是 参数 为 
a 的 泊 松 分 布 。 假 定 {X,} 和 N 独立 ， 求 条 
tt N 下 的 E[Y]。 
523 拉 普 拉 斯 随机 变量 的 参数 为 {jy = Osa), KR 
EEX | |x |<11 (béelX| |X<1]. 
5-24 设 X 和 了 是 独立 同 分 布 的 在 [一 1，1] 上 均 
匀 分 布 的 随机 变量 。 求 人 a)ELCXY|X > 
Y]: ¢by€lX—Y|X>Y] 


5-25 对 在 (1,--.N) 上 均匀 分 布 的 离散 随机 变 
E., 重复 习题 5-24。 

位 置 参 数 

5-26 计算 参数 为 a 的 瑞 利 分 布 的 均值 、 中 位 数 和 
众 数 。 

5-27， 计 算 参 数 为 {c,a) 的 极 值 ( 康 拜 尔 ) 分 布 的 中 
位 数 和 众 数 。 


5-28 ”对 于 参数 为 (mo 的 对 数 正 态 分 布 ， 重 做 习 
题 5-27。( 均 值 可 直接 利用 习题 5-9 的 结论 ) 。 

5-29 证 明 非 对 称 拉 普 拉 斯 分 布 的 均值 为 
式 (3-106)， 并 写 出 中 位 数 m. 的 表达 式 。 

方差 、 协 方差 和 相关 

5-30 (a) 利 用 期 望 的 定义 ， 计算 参数 为 {a,， r) hy 
埃 尔 朗 随机 变量 的 均值 和 方差 :(b) 利 用 指 
数 随机 变量 的 结果 ， 重 复 (a)。 

5-31 利用 协 方差 定义 ,计算 下 列 联合 概率 密度 
函数 对 应 的 Cxy， 其 中 {a,b) 是 常数 。 
(a) fxy (x, y)=axylulr)—ulr—1)]luly)— 

u(y—1)] 

(b) fxy (x, y)=azexp( —b(z+ y))u(z)u(y) 

5-32 计算 几何 随机 变量 的 E[X*] 和 os 。(a) 区 间 
为 Z+(b) 区 间 为 W 。 

5-33 导出 式 (5-242) 中 的 皮尔 逊 样本 相关 系数 的 
表达 式 。 

5-34 根据 随机 变量 X #lP =a X+ a, X: 计算 Y 
的 下 列 估计 : (a) 使 EL(Y 一 了 了)*] 最 小 的 系数 
{ay saz} 的 表达 式 ; (b) M X 和 x 服从 均值 
为 0， 方 差 为 1， 相 关系 数 为 evy 的 联合 高 斯 
分 布 时 ， 重 新 计算 满足 条 件 的 {ai ,as } 。 

5-35 ， 导 出 二 元 指数 分 布 的 相关 系数 为 式 (4-86) 。 

5-36 计算 下 列 随机 变量 的 方差 : (a) 在 {1，…， 
六 )} 均 匀 分 布 的 离散 随机 变量 ; Cb) BRH p 
的 对 数 分 布 随机 变量 。 

5-37 ”推导 式 (5-261) 中 累积 分 布 函 数 对 应 的 联合 
概率 密度 函数 fx,y(x,y)。 

母 函 数 

5-38 (a) 求 参数 为 a 的 泊 松 随机 变量 的 矩 母 函 数 


进一步 阅读 


第 2 一 4 章 的 参考 文献 里 很 多 包含 期 望 的 其 他 资料 
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mx(t); (b) 求 参数 为 {N，p) 的 二 项 式 随机 
变量 的 特征 函数 Bx Gw) 。 

5-39 求 下 列 随 机 变量 的 特征 函数 : (a) 人 参数 为 
(sa) 的 拉 普 拉 斯 随机 变量 ; (b) 参 数 为 {4， 
"的 埃 尔 朗 随机 变量 。 

5-40 ”证 明 特 征 函 数 的 上 限 为 下 式 : 

| By Cw) | <@&x(0)=1 (5-375) 

5-41 利用 特征 函数 计算 ELX* ]: (aX 是 参数 为 a 
的 泊 松 随机 变量 ;(b)Y 是 参数 为 {4 二 0，a} 
的 拉 普 拉 斯 随机 变量 。 

5-42 ”证 明 多 元 高 斯 随机 变量 的 特征 函数 为 式 (5-109)。 

和 矩 和 累积 量 

5-43 对 于 参数 为 p 的 几何 随机 变量 ,计算 
E[LX(CX 一 1)…(X 一 2)] 的 表达 式 。 

5-44 导出 在 La,，b] 上 均匀 分 布 的 连续 随机 变量 的 
n Bir EE z 

5-45 ”计算 参数 为 a 的 泊 松 随机 变量 的 所 有 累积 量 。 

5-46 将 三 阶 累积 量 <, 的 表达 式 写 成 原点 矩 p= 
E[LX"] 的 形式 。 其 中 == 1,2,3。 

非 线 性 函数 的 期 望 

5-47 ”假设 (Xi ，Xs: } 是 均值 为 0、 相 关系 数 为 o 的 
联合 高 斯 随机 变量 , 求 E[Lu(Xi)ulX, 一 1)] 
的 表达 式 。 

5-48 保持 习题 5-47 的 条 件 不 变 , 求 E[ Xiu(X1) 
X2:x(X: 一 1)] 的 表达 式 。 

仿真 作业 

549 BY=a aX E Y 的 估计 值 ， RE 
ELOY A ERD HORE RRC {a ,az } 。 利 用 
mvnrnd 产生 1000 个 样本 {X，Y)， 其 中 
Bx =1s py =2, o=o =l, pyy = 0.8, Mi 
出 样本 的 散 点 图 ， 并 在 上 述 参数 的 最 佳 系 
数 的 基础 上 绘制 直线 。 保 持 其 他 条 件 不 变 ， 
令 py =—0.8, 重新 画图 。 

5-50 ”使 用 mvnrnd 产生 1000 个 样本 {X，Y}， 其 中 
fy =O, pel. R= 1, R= 2, py = 0.9, 
画 出 样本 的 散 点 图 ， 并 使 用 MATLAB it 
Gi: (a) KAR ith (Pearson) FEA HK KM pry ; 
(b) 斯 皮尔 曼 (Spearman) 等 级 相关 系数 zo; 
(c) 肯 德尔 (KendallD) 等 级 相关 系数 tyo 

5-51 对 于 式 (5118) 的 随机 和 ， 假 设 N 服从 参数 p= 
0. 1 的 几何 分 布 ，{ X, } 是 参数 A= 1 的 独立 同 
分 布 指数 随机 变量 。 从 条 件 期 望 知道 ， 当 N 
M(X.) 独立 时, £[Y]= #[£[Y |NJ] = 
ELX, JELNJ=(1/A) q/p=9. 利用 MATLAB 
产生 随机 变量 N 的 结果 n， 然 后 求 n 个 指数 
样本 的 平均 来 估计 E[Y|N]。 对 1000 个 N 
的 样本 重复 上 述 步 又 ,计算 样本 均值 了 用 
于 佑 社 EL[Y]。 


。 附 录 D 的 结尾 给 出 了 积分 的 部 分 参考 文献 。 
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6.1 引言 


随机 过 程 是 随 着 时 间 而 改变 的 随机 变量 的 集合 。 设 随机 过 程 定 义 在 时 间 集 合并 上 。 这 个 
集合 可 以 是 连续 时 间 ， 比 如 T= 及 或 RR+ ， 也 可 以 是 离散 时 间 T 三 2 或 3Z+ 。 离 散 时 间 随 机 过 程 
也 被 称 为 随机 序列 或 时 间 序 列 ， 这 些 离散 时 刻 通常 都 是 等 分 的 ， 尽 管 不 一 定 是 必需 的 。 在 本 
章 中 ， 我 们 经 常用 一 般 意 义 下 随机 过 程 这 一 术语 ， 包 括 了 连续 时 间 随 机 过 程 和 离散 时 间 序 
列 。 当 必须 把 讨论 限制 在 离散 时 间 时 ， 我 们 使 用 随机 序列 这 一 术语 。 随 机 过 程 通常 也 称 为 
“stochastic process” (stochastic 来 源 于 希腊 语 stokhastikos， 意 思 是 “ 猜 的 能 力 ” 。 

6-1 显示 的 是 一 个 高 斯 随机 过 程 的 现实 。 我 们 感 兴 趣 的 是 探索 随机 过 程 的 各 种 特征 ， 
这 有 助 于 我 们 理解 随机 过 程 的 性 质 。 这 个 时 间 函 数 是 通过 对 零 均 值 高 斯 随机 变量 组 成 的 独立 
序列 滤波 得 到 的 。 因 此 与 几 个 时 间 点 对 应 的 随机 变量 是 联合 高 斯 的 。 我 们 也 知道 这 个 滤波 器 
使 得 输出 为 一 个 相关 序列 ， 因 此 输出 在 某 种 程度 上 是 可 预测 的 。 本 章 中 ,我 们 将 描述 随机 过 
程 的 几 个 其 他 特征 ， 包 括 : 平稳 性 、 独 立 增 量 、 著 和 马尔 可 夫 特 性 。 此 外 还 将 讨论 几 个 特殊 
的 随机 过 程 ， 重点 讨论 他 们 的 相关 特性 。 在 第 7 章 ， 我们 还 将 学 习 随 机 过 程 的 其 他 性 质 ， 如 
随机 收敛 、 连 续 性 、 导 数 和 积分 。 随 机 微分 方程 的 学 习 是 为 第 8 章 中 描述 的 系统 做 准备 ， 系 
统 通过 对 随机 过 程 滤波 改变 其 特性 ， 就 如 上 文中 提 到 的 高 斯 随机 过 程 的 例子 。 


3 
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1 


0 500 1000 1500 2000 


图 6-1 相关 高 斯 随机 过 程 的 现实 


6.2 随机 过 程 的 特征 


随机 过 程 可 按 与 随机 变量 类 似 的 方法 定义 。 假 设 存在 一 个 样本 空间 S， 包 括 随机 过 程 
在 T 内 所 有 可 能 的 试验 结果 。 我 们 用 5E s 表 示 一 个 试验 结果 ， 用 这 个 符号 来 表示 随机 过 程 
的 一 个 试验 结果 是 基于 以 下 两 个 原因 : (i ) 为 了 与 之 前 用 来 表示 一 个 抽象 样本 空间 的 试验 
结果 6 € Q 区 分 开 来 ; (ii ) 避 免 与 正弦 信号 和 傅 里 叶 变 换 的 角 频 率 o RRA. SH — 
个 试验 结果 都 是 一 个 关于 时 间 的 确定 函数 ， 称 为 随机 过 程 的 一 个 现实 ， 我 们 假设 用 一 个 基 
本 概率 空间 S, F P) 来 定义 这 个 随机 过 程 。 对 应 于 试验 结果 4 € 5,z(t,8) 表示 这 个 现实 。 
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由 所 有 可 能 的 试验 结果 组 成 的 现实 的 总 体 ， 用 大 写 的 函数 XC. 来 表示 。 图 6-2 就 是 两 
个 连续 时 间 的 现实 的 例子 。 注 意 , ra G) 就 是 与 试验 结果 & 对 应 的 所 有 时 间 :ET 上 的 完 
整 的 波形 。 
考虑 一 个 随机 过 程 ， 其 在 :ET 二 以上 的 所 有 现实 都 是 幅 值 不 同 的 余弦 波 。 对 
一 个 特定 的 [YES， 过 程 的 现实 为 : 
z(t, = t'cos(2xf.t) (6-1) 
其 中 由 是 与 现实 对 应 的 幅 值 。 例如， 的 值 在 [0,1] 间 均 匀 分 布 。 这 个 随机 过 程 具有 
某 些 结 构 ( 随 机 性 不 是 很 强 )， 因 为 在 波形 的 集合 中 只 有 余弦 波 的 幅 值 是 随机 的 。 对 这 种 有 
结构 的 情况 ,我 们 可 将 样本 空间 用 更 简单 的 形式 来 描述 ; J S= [0,1] 表示 随 机 过 程 所 有 
可 能 的 现实 ， 试 验 结 果 由 式 (6-1) 给 出 。 实 际 上 ， 这 个 随机 过 程 在 本 质 上 与 [0,1] 区 间 上 
均匀 分 布 的 随机 变量 等 价 。 假设 所 有 的 现实 还 有 不 同 的 相 移 : 
x(t,0) = t°cos(2xf.t + t) (6-2) 
其 中 (C.O) 为 现实 的 幅度 和 相位 。 对 这 样 的 现实 ， 样 本 空间 应 该 用 S= [0,1]x[— x, 
z] 描述 ， 其 中 [0,1] f [~ nn] 分 别 对 应 可 能 的 幅 值 和 相位 。 可 以 理解 为 一 个 试验 结果 
ES 对 应 一 个 特定 幅度 和 相位 的 波形 。 这 个 随机 过 程 本 质 上 等 价 于 一 个 具有 两 个 独立 元 素 
的 随机 向 量 ; -这 两 个 元 素 分 别 在 [0,1] 和 [一 x,x] 上 均匀 分 布 。 < 
通常 ， 每 个 5ES 对 应 于 一 个 特定 的 现实 (波形 )， 如 图 6-2 所 示 。 但 是 ， 如 果 波 形 具 有 
例 6-1 所 示 的 某 种 结构 ， 我 们 可 以 用 波形 的 随机 参数 (比如 幅度 或 相位 ) 来 更 简单 的 描述 5， 
以 区 分 所 有 的 现实 。 这 种 简单 的 情况 有 时 与 随机 变量 或 随机 向 量 等 价 。 这 章 的 后 面 将 会 学 
习 具 有 更 复杂 结构 的 随机 过 程 。 





图 6-2 在 整个 时 间 间 隔 T 的 随机 过 程 的 现实 可 被 看 作 S 的 输出 


随机 过 程 也 可 看 做 是 试验 (随机 变量 ) 在 时 间 上 的 连续 输出 。 对 应 每 一 个 时 刻 ( 连 续 或 
离散 ) 存 在 一 个 基础 概率 空间 AFP) 它 在 整个 T 集 上 可 能 相同 ， 也 可 能 不 同 (o- 域 天 和 
概率 赋值 P 与 上 文中 用 样本 空间 S 来 描述 的 随机 过 程 不 同 ) 。 例 如 ， 重复 投掷 硬币 生成 一 个 
随机 序列 ， 此 序列 的 基础 样本 空间 是 固定 的 。 对 每 个 上 ET， 其 试验 结果 可 由 当时 的 概率 
分 布 来 “描绘 "*。 因 此 ， 随 着 时 间 的 推移 ， 随 机 过 程 的 现实 由 各 个 独立 随机 试验 的 结果 构 
成 。 用 这 种 方法 来 生成 一 个 离散 时 间 的 序列 和 具有 两 个 试验 结果 的 2 的 例子 网 图 6-3。 观 
察 到 x(3,w) 是 试验 结果 w 在 :一 3 时 刻 的 值 。 注 意 到 图 6-2 中 样本 空间 S 中 的 元 素 对 应 的 
是 随机 过 程 的 现实 是 非常 重要 的 ， 而 图 6-3 中 2 的 元 素 是 试验 在 某 个 特定 时 刻 的 输出 : 
X(3,o) 是 时 刻 3 对 应 的 随机 变量 ， 其 当前 的 输出 为 z(3,w)。 





图 6-3 一 个 随机 序列 在 不 同时 刻 的 值 可 被 看 作 是 随机 变量 的 输出 
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第 二 个 基于 Q 的 描述 代表 了 随机 过 程 的 现实 实际 上 是 如 何 产生 的 ， 例 如 上 文 所 提 到 的 
重复 投掷 硬币 产生 了 一 个 正面 和 反面 的 序列 。 在 T 上 的 这 些 试验 结果 是 伯 努 利 序 列 的 一 个 
现实 ( 稍 后 再 详细 讨论 ) 。 如 果 重 新 开始 试验 ， 观 察 连续 投掷 硬币 的 结果 ， 则 几乎 可 以 确定 
会 得 到 过 程 的 一 个 不 同 的 现实 。 尽 管 所 有 的 现实 确实 是 这 样 产 生 的 ， 我们 仍 可 以 用 随机 过 
程 的 第 一 个 描述 ， 即 每 个 正面 和 反面 序列 与 随机 过 程 的 基础 样本 空间 5 的 一 个 独特 的 元 素 ç 
对 应 。 

看 为 一 个 基于 一 天 中 温度 变化 的 例子 。 同 样 ， 我 们 可 以 用 这 个 过 程 的 现实 的 任何 一 个 
描述 。 在 每 个 时 刻 ， 可 以 认为 温度 就 是 某 随机 变量 的 输出 (可 能 是 一 个 截 顶 的 高 斯 分 布 )。 
或 者 ,假设 温度 的 所 有 可 能 的 现实 都 可 以 用 连续 的 样本 空间 5 来 描述 ， 那 一 天 产生 的 一 个 
现实 就 是 一 个 特定 的 5。 与 投掷 硬币 试验 不 同 ， 这 个 温度 变化 的 过 程 的 产生 不 那么 明显 ， 
它 依赖 于 许多 物理 因素 ， 而 这 些 物 理 因 素 无 法 都 考虑 在 内 。 不 管 怎 样 ， 两 种 描述 都 是 随机 
过 程 的 有 用 的 表述 ， 我 们 可 用 概率 方法 来 检验 。 

前 面 的 例子 说 明了 随机 过 程 的 一 个 重要 并 将 引起 特别 关注 的 特性 : 不 同时 刻 的 输出 是 
否 相 关 。 显 然 对 于 投掷 硬币 试验 输出 是 独立 的 ， 即 ， 后 面 的 输出 不 依赖 于 前 面 投掷 硬币 的 
结果 。 有 些 类 型 的 随机 过 程 情 况 可 能 不 同 ， 它 们 是 高 度 相 关 的 。 温 度 的 例子 就 是 一 个 输出 
相关 的 “试验 ”。 我 们 可 以 预测 将 来 某 一 时 刻 的 温度 会 与 最 近 时 刻 观测 到 的 温度 非常 接近 。 
相关 性 可 能 是 随机 过 程 诸多 应 用 中 最 重要 的 一 个 特性 ， 第 8 章 将 进一步 讨论 ， 稍 后 应 用 的 
章节 也 会 用 到 。 

图 6-4 给 出 了 随机 过 程 符号 的 总 结 。 尽 管 对 5 的 依赖 已 在 图 中 清晰 显示 (以 及 在 例 6-2 
WEH), 但 在 随后 的 讨论 中 仍 会 省 略 它 使 符号 简化 。 因 此 ，X() 代 表 随 机 过 程 ，z( 四 是 
T 上 单个 的 现实 (观察 到 的 波形 )，X(to) 是 时 刻 的 一 个 随机 变量 ，x(t) 是 随机 变量 在 to 
时 刻 的 单个 输出 ( 它 也 是 现实 z(t) 在 时刻 的 值 )。 


随机 过 程 


X(t, ©) 
集 





t+ 时 刻 的 N 
随机 变量 X(h, C) oee” 5 T t 


6-4 随机 过 程 的 符号 总 结 。( i ) XG O : 包括 ES 现实 集 的 随机 过 程 。(ii ) rG): XG O 对 应 于 
名 ES 的 现实 (关于 时 间 的 确定 函数 ); H) X(t ,5) : FE to 时 刻 所 有 现实 的 输出 对 应 的 随机 变量 ; 
CIV) =G G) : 名 ES 的 现实 在 to 时 刻 的 值 ， 与 随机 变量 在 mw 时 刻 的 一 个 输出 对 应 


A 在 随机 过 程 通用 的 概率 描述 之 前 ， 考 虑 另 一 个 相对 简单 的 随机 过 程 ， 定 义 





YG) = X[u(t) — ult — T) J (6-3) 

其 中 和 和 了 是 独立 的 随机 变量 ， 累 积分 布 函数 (cdf) 分 别 为 Ex(z) 和 Fr(i)。 由 于 阶 跃 函 
数 x(i) 的 作用 ， 得 到 : 

Aig T eS 

Y(t) = 9, Tk (6-4) 

其 中 i€ET 二 RR+ 。 这 类 过 程 可 能 在 Y 5 X 通过 通信 和 链 路 连接 的 系统 中 出 现 ， T ÉE # B 8 JF 

的 时 刻 。 因 此 ， 在 某 个 特定 的 时 刻 t， 如 果 T<: 则 Y(z) 为 0， 意 味 着 链 路 在 之 前 (或 正好 

在 t 时刻) 断 开 。 图 6-5 给 出 了 现实 的 示例 ， 从 中 可 以 看 到 随机 性 的 两 个 影响 : (i )X 的 输 
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H 2 E Y (a) t8 aE 2 W EC i) 本 的 输出 决定 Y(1) 何 时 减 至 零 。 通 过 对 丁 设 定 条 件 导 出 其 cdf 
(时 间 的 函数 ) 来 描述 这 个 过 程 的 特征 ， 如 下 所 示 : 
P(Y(t) < wy = POY) < y|T SO P(T KY + PY) <S y|T>OPR(T>2) (6-5) 





# t 
图 6-5 # 6-2 中 随机 过 程 的 现实 示例 。 每 个 ç, 表示 一 个 特定 的 X 和 了 的 输出 对 


由 以 上 的 描述 : 


P(Y(t) < y|T SH) = uly) (6-6) 
因为 在 此 条 件 下 Y(t) 二 0， 因 此 其 依 概率 1 小 于 任意 正 数 y。 对 于 其 他 条 件 概率 : 
P(Y(t) < y|T >t) = P(X < y) = Fx(y) (6-7) 


因为 链 路 未 断 开 ， YG)= X, # ë P kE # E *| 2 H F R A B cdf: 
Fyn (y) =u(y)F+G@) + Fx(y)[1— Fr(t)] 

=Fr+r(O[u(y) — Fx(y)] + Fx (y) (6-8) 

其 时 间 依 赖 性 (使 Y(t) 减 至 零 ) 源 于 式 (6-8) 中 的 第 一 项 。Y(t) 是 一 个 非 平稳 过 程 的 例子 ( 稍 
后 定义 )， 因 为 其 分 布 随时 间 而 改变 。 对 应 的 概率 密度 函数 (pdf) 为 : 





fya (y) = Fray) + fx()[1— F+r(t)] (6-9) 

其 中 fx(y X Fm pdf, SC ÆRES BA, LAT YORE ARN + £ — 4 i @ 

随机 变量 。 它 同时 也 为 混合 概率 ， 加 权 值 为 {Fr(t),1 一 Fr(t)}, 显然 和 为 1。 < 
jo) 考虑 一 个 随机 过 程 ， 其 现实 定义 如 下 : 

X(t) = Aexp(— ìt) (6-10) 


其 中 ziERR+，A>0。 设 A 为 在 [0,1] 上 均匀 分 布 的 随机 变量 ， 则 X(z) 的 现实 集 为 初始 值 
不 同 的 衰减 指数 。 它 具有 以 下 原点 矩 : 
ELX"(t) ] = ELA” Jexp(— Ant) = exp(— ini)/(n+t 1) (6-11) 
t 时 刻 的 cdf 为 : 
P(X(t) < x) =P(Aexp(— at) < z) = P(A < zexp(t)) 
= xexp(At) Iton (vexp(at) ) + Ia, (rexp(at)) 


=xexp(At) Ito epu) (x) 十 下 (x) (6-12) 
RAHAA 09 B JJ. £ E q cdf 得 到 最 后 的 表达 式 。 将 其 对 工 微分 得 到 pdf: 
farw (ZY = eaP A YT, ep ni (2) : (6-13) 


我 们 看 到 其 在 [0，exp( 一 At)] 上 是 均匀 分 布 的 。( 注 意 到 指示 函数 只 是 用 来 明确 地 显示 定 
义 域 ， 不 将 它们 对 工 微分 )。 随 着 上 的 增长 ， 由 指示 函数 的 下 标 所 给 定 的 pdf 的 输出 范围 逐 
渐 向 零 压 缩 。 < 


6.3 一 致 性 及 扩展 


在 最 后 两 个 例子 中 ， 随 机 过 程 的 cdf 是 针对 某 个 特定 时 刻 上 推导 得 到 的 。 在 这 些 例题 
中 ， 并 不 总 是 直接 描述 随机 过 程 的 各 现实 的 特征 。 为 了 更 准确 地 给 出 随机 过 程 的 概率 描 
述 ， 有 必要 定义 在 时 间 间 隔 T 上 所 有 子 集 的 随机 变量 的 联合 概率 分 布 。 我 们 可 以 将 随机 过 
程 看 做 随机 向 量 的 一 个 扩展 ， 向 量 中 的 每 个 分 量 由 T 中 的 一 个 元 素来 标记 ， 可 为 无 限 个 元 
素 ， 可 数 或 不 可 数 。 从 这 个 随机 向 量 的 描述 ， 就 能 确定 联合 分 布 ， 从 而 确定 随机 变量 的 联 
合 特性 ， 比 如 联合 矩 、 独 立 性 、 相 关 性 、 正 交 人 性 等 。 
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考虑 离散 时 刻 的 子 集 oet) € T, 不 要 求 升序 排列 ， 而 且 可 与 7 中 初始 元 素 在 时 
间 上 有 差异 。 尽 管 通常 认为 时 间 是 向 前 移动 且 没 有 间隔 (当时 刻 是 均匀 等 分 的 )， 但 我 们 可 
以 自由 选择 7 的 任意 子 集 ， 其 元 素 可 为 任意 排序 ， 因 为 我 们 考虑 的 是 一 个 随机 变量 的 集 
合 。 正 如 我 们 在 第 4 章 中 针对 随机 向 量 所 定义 的 ， 随 机 变量 集合 的 联合 cdf 如 下 所 示 : 

Frome i (Ris ZN) = PCXC) <a 90 X Cty) < ay) (6-14) 

其 中 小 写字 母 {x,}) 是 在 时 刻 {i) 的 输出 。 这 个 cdf 在 本 质 上 与 随机 向 量 的 cdf 具有 相同 的 形 
式 ， 但 是 在 这 里 我 们 用 随机 过 程 的 时 间 标 志 区 分 各 分 量 ， 而 不 是 以 前 随机 向 量 元 素 用 到 的 
下 标 。 

随机 向 量 的 cdf 与 由 随机 过 程 的 有 限 子 集 的 元 素 构造 的 cdf 几乎 没有 区 别 。 为 了 使 一 
个 随机 过 程 的 概率 模型 有 意义 ，T 的 任意 子 集 的 cdf 必须 是 一 致 的 。 通 常 来 说 : Ci ATH 
子 集 进行 索引 的 元 素 的 任意 排序 的 概率 测度 必须 给 出 明确 的 定义 ; (ii ) 应 该 非常 便捷 的 由 
一 个 更 大 子 集 的 cdf 得 到 这 个 随机 变量 的 子 集 的 cdf。 为 进一步 明确 该 问题 ， 下 面 给 出 随机 
变量 子 集 的 概率 测度 的 一 致 性 定义 。 

定义 (概率 测度 的 一 致 性 ) 如 果 对 随机 变量 的 有 限 维 分 布 ， 以 下 两 个 条 件 成 立 ， 则 概 
率 测 度 己 是 一 致 的 : 


° 对 子 集 (t, ot? sty} E 本 和 随机 变量 的 事件 (E, 9*** Ew} s TR {x(1) s°**,2€N)} 为 下 标 
的 排序 ， 则 
P(X trao) € Erw ott? X (tam ) € Exo) = P(X(&) € Ev yess X(ty) € Es) 


(6-15) 
如 果 概 率 测 度 中 的 随机 变量 和 事件 是 可 排序 的 ， 则 可 以 得 到 与 随机 变量 和 相关 事件 
ee ake oe Gite ar. ee pe 
某 一 特殊 的 排序 : 排序 不 会 改变 PC) PRS {FI ,… En) 所 给 定 的 全 部 合成 事件 。 

@ 对 更 大 子 集 (tlto ts olsa t stum € T 
P(X(t,) € Eis, X (tn) € Es) =P(X (ti) € E os X Gn) € Es 
X (tn) E Ong ots XCtnem) E Anim) 

(6-16) 
LPO, 指 在 ti 时 刻 随 机 变量 的 样本 空间 。 由 于 罗 王 1,…， M, X Onim) ED 是 确定 
的 事件 ， 则 式 (6-16) 中 两 个 参数 的 合成 事件 实际 上 是 相同 的 ， 因 此 概率 是 不 变 的 。 
这 个 条 件 确 保 了 由 一 个 高 阶 联合 概率 导出 事件 子 集 的 概率 的 方法 的 一 致 性 ， 而 且 可 
由 联合 概率 求 出 边缘 概率 。 

这 两 个 关于 概率 测度 一 致 性 的 条 件 直观 上 非常 吸引 人 。 我 们 现在 给 出 柯 尔 莫 哥 洛 夫 扩 
展 定 理 ( 不 做 证 明 )， 它 指出 了 与 一 组 有 限 维 分 布 相关 的 一 个 随机 过 程 的 存在 ， 也 被 称 为 柯 
尔 莫 哥 洛 夫 存在 性 定理 。 

定理 6-1( 柯 尔 莫 哥 洛 夫 扩展 ) 设 概率 测度 P(X(ti),… ,X(tn)) 对 任意 采样 时 间 集 合 
(t sot) —# , HPLET, NENTHEÈERT, NE A Mi plat 42 Xa), HPCE 
T, TUAFAREARADA, 

这 个 定理 将 随机 变量 的 有 限 集合 {XGn ),…,XCx)) 扩展 到 随机 过 程 X(t)， 通 过 (ji) 
定义 时 间 T 的 一 个 集合 ， 使 xET; (ii ) 确 保 用 了 的 任何 有 限 子 集 索 引 的 所 有 随机 变量 是 一 
致 的 。T 中 元 素 的 集合 可 以 是 有 限 的 ， 可 数 无 穷 ， 或 不 可 数 ( 连 续 的 )。 该 定理 与 随机 过 程 
的 第 二 种 表述 相关 ， 即 从 由 时 间 索 引 的 随机 变量 连续 地 选择 样本 得 到 随机 过 程 。 如 果 该 定 
理 的 条 件 满足 ， 则 随机 过 程 存 在 ， 而 且 可 由 一 个 基础 概率 空间 (S, FP) 来 描述 ， 以 随机 
过 程 的 现实 作为 其 结果 。 同 一 个 随机 过 程 的 两 种 不 同 描述 方法 的 关系 如 下 。 如 果 随 机 变量 
X(t,) 的 样本 空间 为 0,(nEN)， 则 随机 过 程 的 样本 空间 为 5 二 Q XQ;X…。 现 实 < 是 随机 
变量 的 结果 在 样本 空间 5 上 扩展 出 的 一 个 特定 波形 。 如 果 0, =O 对 所 有 nn 是 时 不 变 的 ( 称 为 
平稳 )， 则 样本 空间 “简化 ”为 5 一 Q XQX… 二 Q171 ， 在 每 个 时 刻 的 可 能 结果 是 相同 的 ， 
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| 工 | 是 T 的 势 。 由 之 前 的 定义 可 知 概率 测度 一 定 是 一 致 的 。 通 常用 各 离散 时 刻 的 概率 测度 
来 表示 ， 除 非 随机 变量 是 独立 的 。 概 率 测度 包含 了 任何 可 能 存在 的 跨越 各 时 刻 的 依赖 关 
系 ， 这 显然 不 能 从 一 个 单一 的 时 刻 推算 出 来 。 柯 尔 莫 哥 洛 夫 扩 展 定理 将 离散 时 间 的 描述 扩 
展 为 连续 时 间 ， 并 允许 不 同时 刻 的 随机 变量 的 概率 空间 变化 ， 只 要 概率 测度 是 一 致 的 。 

Heme + 36 apas ih, F Q= (H, T), 38 g M RE T = {t,t}. 随机 序 
#| ËJ Pt K = B| ZG S= (HH ,HT.,TH TT), 其 中 时 间 索 引 简化 为 排序 的 试验 结果 。 或 者 ， 
可 以 用 掷 硬 币 的 样本 空间 写 为 S 王 COXD 王 2Q:。 假 设 用 抛 最 子 代 之 抛 硬 币 ， 在 第 一 时 刻 ， 
OQ,= (H, T), MHRO-HAO.=({(1, 2, 3, 4, 5, 6), Hh, +w Ë SSE X Q TL Bj 
为 0 变化 了 。 这 是 一 个 非 平稳 随机 过 程 ， 试验 结果 的 分 布 随 时 间 而 改变 。 我 们 代 之 以 
S= M x0, = ((H,1),(T,1),-  (H,61),(T,6)), 再 次 将 时 间 索 引 简 化 为 有 序 的 试验 
结果 。 < 


6.4 随机 过 程 的 类 型 


接 下 来 ， 对 随机 过 程 的 4 种 基本 类 型 进行 总 结 ， 这 取决 于 T 和 随机 变量 是 连续 的 还 是 
离散 的 。 为 了 清楚 起 见 ， 在 必要 的 时 候 ， 我 们 用 以 下 符号 区 分 连续 时 间 过 程 和 离散 时 间 
序列 : 

随机 序列 : X[k], ke TCZ ` (6-17) 

随机 过 程 : XU), € TC (6-18) 
其 中 方 括号 表示 序列 (时 间 序 列 )， 它 通常 用 在 对 离散 时 间 信 和 号 的 描述 中 (确定 的 或 随机 
的 )。 这 四 种 类 型 的 随机 过 程 的 现实 的 简单 例子 见 图 6-6， 其 中 在 离散 时 间 情 况 下 ， 假 定时 
间 为 均匀 间隔 (上 面 用 2Z 时 也 是 同样 的 )。 


X(t) 








a) b) c) 


图 6-6 随机 过 程 的 现实 示例 。a) 连续 时 间 ， 连 续 幅 度 ; b) 连续 时 间 ， 离 散 幅 度 (2 个 值 ); c) 离散 时 
间 ， 连 续 幅 度 ; d) 离散 时 间 ， 离散 幅度 (三 个 值 ) 


除了 图 中 的 四 种 情况 外 ， 基 础 概率 空间 有 可 能 是 混合 的 ， 随 机 变量 由 连续 和 离散 部 
分 构成 。 例 6-2 中 给 出 了 一 个 简单 的 混合 过 程 ， 其 中 Y(D 在 y=0 处 具有 非 零 的 概率 质 
量 。 随 机 过 程 的 其 他 问题 和 特性 在 之 前 的 描述 中 已 比较 清楚 了 。 例 如 ， 随 机 变量 可 能 随 
时 间 变 化 (例如 从 高 斯 变 为 指数 )， 或 对 所 有 的 T 有 相同 的 随机 变量 存在 ， 但 它 的 一 个 或 
多 个 参数 可 以 改变 (如 随时 间 改 变 均值 的 高 斯 变量 ) 。 本 章 中 ， 我 们 将 涉及 随机 过 程 的 重 
要 例子 ， 讨 论 它 们 作为 相关 模型 时 的 性 质 及 某 些 应 用 ， 并 研究 随机 变量 在 不 同时 刻 的 相 
KE 

我 们 从 随机 过 程 是 由 时 间 索 引 的 随机 变量 的 集合 而 引出 的 某 些 通用 的 属性 或 特征 
开始 。 


6.5 平稳 性 


随机 过 程 有 几 种 不 同类 型 的 平稳 。 通 常平 稳 性 是 指 由 时 间 索 引 的 随机 变量 的 概率 模型 
随时 间 变 化 为 “常数 ”的 程度 。 
定义 (一 阶 平稳 ) 如果 随机 过 程 义 (1) 的 pdf 与 时 间 无 关 ， 则 为 一 阶 平稳 ， 即 
fu (z) = fx(z), 对 所 有 LET (6-19) 
Ask, HAH RAF PSH), RREFHMABS 05. HTFRHKAMHFR, AA 
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不 去 讨论 在 两 个 或 更 多 不 同时 刻 的 矩 ， 比 如 随机 量 的 相关 性 和 协 方差 等 。 

定义 CN 阶 平稳 ) 随机 过 程 和 (bi 是 N 阶 平稳 的 ， 如 果 过 程 在 N 个 时 刻 的 联合 概率 分 
布 不 随 {ths ,tn) 的 任意 时 移 r 而 改变 ， 即 

了 (6-20) 

这 种 类 型 的 平稳 性 明显 强 于 一 阶 平稳 ; Ç @ "& # WF HARA AA F) BF Al (RS a) 
N 一 1 时 间 差 ) 的 改变 。 我 们 可 以 将 NN 阶 平稳 看 做 一 个 “滑动 窗口 "(宽度 为 N)， 滑 窗 内 的 联 
合 pdf 不 会 改变 。 

定义 (严格 平稳 ) 随机 过 程 X(t) 是 严格 平稳 的 ， 只 要 过 程 对 所 有 的 N BRS N 一 co 
at N 阶 平稳 。 

这 是 平稳 的 最 强 形态 ， 随机 过 程 的 所 有 统计 特性 都 不 随时 间 差 和 时 移 而 改变 。 严 格 平 
稳 过 程 意 味 着 式 (6-20)， 则 也 意味 着 式 (6-19)。 对 于 所 有 三 种 情况 ， 边 缘分 布 是 相同 的 : 
分 布 的 类 型 (高 斯 分 布 ， 泊 松 分 布 等 ) 是 相同 的 ，pdf 的 参数 不 会 改变 。 一般 情况 下 ， 
式 (6-19) 并 不 意味 着 式 (6-20) 。 一 个 重要 的 例外 是 当 随 机 过 程 是 独立 时 ， 所 有 的 联合 分 布 
可 表示 为 边缘 分 布 的 乘积 。 这 对 应 于 一 个 独立 同 分 布 (iid) 的 随机 过 程 ， 将 在 6.6 节 中 
讨论 。 

在 许多 应 用 中 ， 三 个 平稳 的 定义 通常 要 强 于 表征 随机 过 程 所 需 的 特性 。 严 格 平稳 随机 
过 程 的 需求 太 高 以 至 于 对 绝 大 多 数 实际 过 程 是 不 必要 的 。N 阶 平稳 随机 过 程 的 要 求 也 非常 
高 ， 因 为 要 求 N 个 时 刻 的 所 有 和 矩 都 为 常数 ， 这 在 实际 中 是 不 现实 的 。 对 于 许多 问题 ， 我 
们 通常 只 对 一 阶 矩 和 二 阶 矩 (尤其 是 相关 性 ) 以 及 它们 是 否 为 时 不 变 感 兴趣 。 稍 后 详细 讨论 
相关 性 及 其 频 域 的 对 应 项 (通过 傅 里 叶 变换 ) ， 即 功率 谱 密度 (PSD) 。 

回顾 第 5 章 随机 变量 的 相关 性 的 定义 ， 并 将 其 应 用 到 随机 过 程 中 。 

定义 ( 自 相 关 函 数 ) 随机 过 程 X(i) 的 自 相 关 函 数 为 : 


Ryx (t: »t2) el XK Ct: YX (ts), ] (6-21) 
它 通常 为 特定 值 (tot) 的 函数 。 随 机 序列 X[LR] 的 自 相关 函数 为 : 
Rxx Lki sk, | SEL XA: ]X[ J] (6-22) 


5 Mp RSH HK BRAM, Rxx (ti st.) 是 一 个 函数 : 它 依赖 于 特定 时 刻 。 
定义 (不 相关 过 程 ) 随机 过 程 X(t) 是 不 相关 的 ， 如 果 


EEX es ty = te 
r saal 6-2 
wx [sta] ep ep h F te tigi 
同样 对 随机 序列 X[k]: 
ECX? Ck1)], Ë, Re 
lity aah 6-24 
wx [hh vka] skay atakay ki Æ ke `ç 


如 果 过 程 是 零 均 值 ， 则 自 相 关 函 数 也 为 零 ， 除 非 变 量 相等 ， 则 对 应 的 是 特定 时 刻 的 方 
差 值 。 
EMC AWA Z DHA) 随机 过 程 X(t) 的 自 协 方差 函数 为 : 


Cxx Lti,ts |] 全 EL(X[t ] — ELXLt J) ( X[ z, J — EL X[ z, J) (6-25) 
随机 序列 XLR] 的 自 协 方差 函数 ; 
Cxx [Ri br] SEC CXR, J = EL X[ ë, J) CX[ B, = ELX] (6-26) 


如 果 过 程 是 不 相关 的 ， 则 自 协 方差 函数 为 零 ， 除 非 变量 相等 ， 则 此 时 对 应 的 是 方差 值 
(即使 对 非 零 均值 )。 接 下 来 讨论 的 平稳 类 型 通常 假设 在 许多 工程 应 用 中 对 随机 信号 进行 操 
作 的 实际 系统 中 成 立 。 

定义 (广义 平稳 ) ”随机 过 程 (1) 是 广义 平稳 的 ， 如 果 均 值 为 常数 ， 自 协 方差 函数 只 
与 时 间 差 相关 ， 而 不 依赖 于 特定 时 刻 ; 

对 所 有 LECT, HWA ELX(t) ]=py (6-27) 

SPAR ths b CT, 满 是 Cx (th, t:)=Cxx (t — tı) (6-28) 


第 6 章 随机 过 程 227 


Ay le] Z í, — t 也 称 为 时 间 间 隔 ， 当 过 程 为 广义 平稳 时 ， 通常 用 rt, 一 41 来 代替 时 间 
£, Pp 
Cxx (tz — ti) = Cxx (z) (6-29) 
对 随机 序列 ， 有 
Cxx [ke —k,] = Cxx [m] (6-30) 
其 中 mk, —k, 。 相 应 的 BAK DRA Rxx (Tt) 和 Rxx [m]. 
对 不 相关 过 程 ，Cxx (rt)= 二 a26 (tr)，Cxx [mj 二 ox6Lmj。 这 将 在 第 8 章 进行 深入 讨论 ， 
还 将 给 出 白 噪声 的 定义 。 
例 6-3 中 随 桃 计 程 的 自 相关 函数 为 ， 
Rxx (t,t+ z) = ELA? Jexp(— A(2t+ z)) = (1/3)exp(— A(2t +r)) (6-31) 
HAT X(t) 不 是 广义 平稳 过 程 。 均 值 也 随时 间 改 变 : px(ti) 一 (1/2)exp( 一 Mt) 。 < 
广义 平稳 过 程 将 在 第 8 章 广泛 讨论 ， 通 常 在 应 用 章节 中 会 假设 各 种 信和 号 为 广义 平稳 。 
从 定义 中 的 对 称 性 可 推出 自 相关 函数 是 偶 函 数 : Rxx (7) 二 Rxx (一 tr)， 显 然 对 于 时 间 间 
隔 0， 它 是 非 负 的 : Rxx (0) 二 ELX? (1)] 宇 0。 接 下 来 的 定理 描述 了 自 相 关 函 数 的 其 他 特性 。 
定理 6-2 ” 自 相 关 函 数 在 时 间 间 隔 为 0 时 最 大 : 


| Rxx Ce) |< Rxx (0) (6-32) 
证 明 : 由 附录 下 中 柯 西 - 施 瓦 效 不 等 式 可 得 : 
[Rxx (z)|= |ELX@ XG ++) ]| < VELX? (2) |] ECX a+ 2) J (6-33) 


Fe LFK, EX GO =e LX? (tt+-7) J=Rx (0), 证明 完 毕 。 
之 前 关于 相关 和 协 方差 的 定义 可 扩展 应 用 于 两 个 随机 过 程 。 
定义 (互相 关 和 协 方差 ) 随机 过 程 X(iD 和 Y(i) 的 互相 关 函 数 为 : 


Ryy (ti tz) SEL XG, Y G) | (6-34) 
互 协 方差 函数 为 ; 
Cry (ae sy g[ (XG) —ELX GID) £[LYCs) 7] (6-35) 
对 随机 序列 X[k] 和 Y[k]， 
Rxy[ki ;ks ] EELX[E JYLA JJ (6-36) 
Cry [hi ok] HELCX CR, ] — EL XL JJ) (YER. J— ELYLR ]J])] (6-37) 


当 过 程 为 广义 平稳 时 ， 这 些 表 达 式 变 为 Ry (z), Cxy (z), Rxy [m e Cxy [m], HP 
Tt 一 在 7 m&k,—k, 

注意 到 广义 平稳 随机 过 程 的 自 相 关 函 数 的 对 称 性 在 这 并 不 适用 : 例如 Rxy OF 
Rxy( 一 rt)， 反 而 有 Ry (z) =Ryx (一 r) 。 

为 保证 完整 性 ， 我 们 还 给 出 了 周期 平稳 的 定义 ; ERER 7 章 中 偶尔 用 到 。 

定义 (周期 平稳 ) 随机 过 程 义 (1) 是 广义 周期 平稳 的 ， 如 果 其 均值 为 常数 ， 自 协 方差 
AEAT 为 周期 的 周期 函数 ， 即 对 任意 rz 有: 

Cxx (z<) = Cxx (< + T.) (6-38) 

6.6 独立 同 分 布 

因为 一 个 随机 过 程 被 看 作 是 由 时 间 索 引 的 随机 变量 的 集合 ， 我 们 可 以 将 独立 随机 变量 
的 概念 扩展 到 随机 过 程 。 考 虑 一 个 独立 随机 序列 的 以 下 示例 。 
在 RET 一 2Z+ 的 每 个 时 刻 ， 随 机 序列 XLR] 的 取 值 zLk] 由 一 个 具有 固定 参数 p 
的 伯 努 利 随机 变量 决定 。 这 与 以 概率 PCH) 一 户 进 行 的 投 撞 硬币 等 价 。 在 每 次 投掷 硬币 时 
观察 试验 结果 ， 并 将 结果 “加 入 ”到 之 前 的 试验 结果 中 构造 一 个 现实 (一 个 离散 时 间 函 数 )。 
随机 变量 的 pdf 对 有 保持 不 变 ， 这 意味 着 随机 序列 是 一 阶 平稳 的 。 由 于 每 次 投 稀 是 独立 
的 ， 随 机 序列 也 是 严格 平稳 的 。 假 设 硬币 被 投 搓 N 次 ， 则 随机 序列 XLR 有 25 种 可 能 的 现 
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实 。 图 6-7 E 2 T—4# +, HP H=1, T=0, 2 2" 种 可 能 的 现实 集 就 是 随机 序列 的 总 
体 : 每 个 现实 是 基本 概率 空间 的 一 个 结果 。 对 这 种 离散 的 、 有 限 值 的 例子 ， 可 以 非常 容易 
的 将 随机 序列 的 样本 空间 用 伯 努 利 随 机 变量 的 样本 空间 0 = (H.,T) 表示 为 如 下 的 笛 卡 儿 
P: 5 二 QX… XQ=QY。 它 的 元 素 {t} 有 2* 种 排列 : (H e, H.H), (Ho HT), 
{T,…, 丁 ,T}。 由 于 序列 是 按时 间 索 引 的 (意味 着 一 个 方向 )， 我 们 必须 考虑 所 有 的 排序 ， 
而 不 是 简单 的 组 合 ; 现实 {H H, H, T) 不 同 于 (H, ,H.T.H), 即便 其 中 都 只 有 一 
个 工 。 由 于 随机 变量 是 独立 的 、 平 稳 的 ( 妃 不 会 改变 )， 每 个 5ES(C 个 五 ) 的 概率 为 
p"q’ ", #Ħ q=1—p. 

x(k] 





Oct @ 224 Sve Fe) Be 
图 6-7 一 个 了 二 {0,… 49) 的 伯 努 利 随机 序列 的 现实 z[kj] 的 例子 


很 显然 ， 这 个 例子 中 的 概率 测度 是 一 致 的 。p"q” “不 依赖 于 随机 变量 的 结果 的 顺序 .由 
吏 个 晴 和 NN 一 m 个 丁 组 成 的 任何 排列 具有 相同 的 概率 。 考 虑 N 个 随机 变量 的 一 个 大 小 为 M 
的 子 集 ; 这 个 子 集 的 概率 的 计算 方法 如 下 。 如 果 该 子 集 包含 黄 个 及 和 M 一 m 个 TT l 

P(H,H, ,Hy Tw D SPLA, H s0 Hy Tsar ys Ts (Q) 


et Cpu See — 
Mm 项 M-m% mÅ M-m N 一 M 项 
= pr i agg * (6-39) 
其 中 我 们 运用 了 独立 性 和 P(O2) 王 1。 更 小 子 集 的 概率 可 通过 包含 N— M 个 确定 事件 Q 的 
更 大 的 子 集 的 概率 计算 得 到 。 < 


由 这 个 例子 ， 我 们 发 现 一 致 性 定义 第 二 部 分 的 内 容 中 关于 通用 分 布 可 陈述 如 下 : 考虑 
随机 过 程 XO O fE N 个 时 刻 的 联合 cdf 为 Fx.….xow toan), WIF F MN 时 刻 的 
子 集 的 联合 cdf 可 由 下 式 得 到 : 

Fx sext (is = sty) = F xin) XCigg) Xi) Xt) (Zi s T P SO sss oo) (6-40) 


其 中 ， 不 失 一 般 性 ， 我 们 假设 tw 二 tw， 相 应 的 联合 pdf 为 : 
f Koy Ke) (zist ,TM) = im [fry Dare XCM Ye XC) (Ti s**t 9 ti s °°" s EN drm dry 


NM 积分 
(6-41) 

第 4 章 涉及 随机 向 量 时 出 现 过 这 种 类 型 的 表达 式 。 它 们 的 区 别 是 随机 过 程 的 这 些 性 能 
对 T 中 的 所 有 子 集 必 须 成 立 ， 以 便 具 有 一 致 性 。 当 然 ， 这 些 特 性 不 需要 进行 验证 ， 只 需 对 
于 特定 的 应 用 指定 随机 过 程 的 类 型 ， 加 上 概率 测度 一 致 的 约束 。- 

我 们 已 知 伯 努 利 随机 序列 是 独立 同 分布 (iid) 的 ， 这 也 许 是 最 基本 的 一 种 随机 过 程 。 

定义 (IID 随机 过 程 ) 如 果 在 所 有 LET 时 刻 的 随机 变量 相互 独立 ， 并 且 具 有 相同 的 分 
布 Fx(CiD)(Cz) 王 FEx(Cz)， 则 随机 过 程 XC) 是 iid。 

如 例 6-5 中 伯 努 利 随 机 序列 所 示 ， 一 个 长 度 为 N 的 iid 随机 序列 样本 空间 的 形式 
为 S 一 0” 。 





列 算法 的 例子 (虽然 在 技术 上 它 是 一 个 伪 随 机 数 (PRN) 产 生 器 ， 因 为 最 终 数字 会 重复 ， 尽 
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管 仿真 中 通常 不 会 达到 这 点 )。 一 个 理想 的 均匀 随机 数 生成 器 会 生成 [0,1] E] id 的 数字 序 
列 。 用 第 4 章 中 描述 的 技术 可 以 使 这 个 序列 的 分 布 变 为 一 个 不 同 分 布 。 < 
ARED 高 斯 随机 序列 XLRA] 是 iid H, F E E £ É H k(k € T= Z+ ) 索 引 的 随机 变量 
的 有 限 集合 是 相互 独立 的 ， 并 且 都 有 固定 参数 为 {jy，o} 的 相同 的 高 斯 分 布 。 一 般 高 斯 随机 
过 程 需要 随机 变量 集 是 联合 高 斯 的 ; 对 iid 的 情况 ， 则 只 需要 每 个 随机 变量 是 高 斯 的 ， 因 
为 联合 pdf 是 边缘 pdf 的 乘积 ， 而 边缘 概率 密度 是 相同 的 。 < 

虽然 iid 随机 过 程 在 实际 中 得 到 了 广泛 应 用 (如 数字 通信 中 ) ， 但 事实 上 若 要 求 在 不 同 
时 间 的 样本 是 独立 的 则 过 于 严格 。 在 此 过 程 中 没有 "可 预见 性 ”， 前 面 的 输出 不 能 提供 对 未 
来 的 输出 进行 预测 的 信息 。 在 许多 应 用 中 对 输出 进行 某 种 程度 的 预测 是 很 重要 的 ， 这 部 分 
内 容 我 们 将 在 后 面 的 章节 中 进行 讨论 。 


6.7 独立 增 量 


本 节 将 考虑 随机 过 程 的 一 个 重要 类 型 ， 它 可 以 看 作 是 iid 过 程 的 扩展 , 一 些 大 家 熟知 
的 随机 过 程 是 其 中 的 特例 。 设 X(7) 是 一 个 随机 过 程 ， :ET。 由 于 X(b) 在 任意 时 刻 是 随机 
变量 ,固定 时刻 M e 之 间 的 差 值 ( 增 量 )X(ti) 一 X(t;) 也 是 一 个 随机 变量 。 利 用 第 4 章 
中 随机 变量 变换 的 方法 可 得 到 以 下 结果 : 可 由 X(t.) AM X(t.) AY pdf 计算 出 Xt) 一 X(ts) 
的 pdf。 

定义 (独立 增 量 过 程 ) 随机 过 程 XCt) 具 有 独立 增 量 ， 如 果 对 于 任意 五 < 如 < 二 二 各 有 : 

f xu, -Xi Xt) Xe) (a = — Ze). = I xuxen (xp — = ) fxay—xa (z, — zs) (6-42) 

这 个 定义 是 用 于 随机 过 程 不 相交 增 量 中 独立 随机 变量 的 一 个 直接 扩展 。 我 们 注意 到 这 

个 增 量 可 以 是 连续 的 ， 各 自 的 时 刻 是 重 登 的 ， 比 如 以 下 的 己 和 三: 


F xup x) XG.) XG). XX) (Zo muy waq — miss 29 — Xs) 





= fx x0 (Xa — T ) f xa -xt (x3 — Ta ) f xa xt) (2, — a) (6-43) 
该 定义 也 适用 于 下 述 情况 : 与 原点 (过 程 的 起 点 ) 有 特定 关系 ， 其 中 X(t) 二 zxo 二 0 是 
固定 的 ( 非 随 机 的 )。 则 
SF x64, x xa, Xn (mi — To 9X2 — 2X1) = fxup (m, ) f xap xin) (zs — x) (6-44) 
独立 增 量 过 程 的 一 些 特例 会 在 稍 后 给 出 。 首 先 ， 我 们 将 这 类 过 程 扩 展 到 包括 平稳 性 。 
ENASI 随机 过 程 ) 一 个 独立 、 平 稳 增 量 (isi) 过程 的 增 量 Xnr) X tur) O} 
任意 ii 之 办) 的 分 布 不 会 因为 任意 时 移 r 而 改变 。 
此 平稳 性 只 适用 于 随机 过 程 的 增 量 ， 而 不 适用 于 过 程 本 身 。 其 结果 是 ， 相 同 持续 时 间 
的 增 量 是 iid 的 。 此 特性 由 严格 平稳 的 定义 得 出 ， 而 没有 必要 考虑 增 量 的 所 有 的 联合 分 布 
《证 明 严 格 平稳 性 时 一 般 需 要 )， 因 为 增 量 是 独立 的 。 因 为 联合 矩 分 成 了 矩 的 乘积 (由 于 联 
合 pdf 为 边缘 pdf 的 乘积 )， 一 个 一 阶 平稳 的 独立 随机 过 程 也 是 严格 平稳 。 这 同样 适用 于 一 
个 isi 过 程 的 增 量 。 
接 下 来 ， 我 们 考虑 对 随机 序列 同样 有 用 的 一 些 分 布 的 表示 。 
定义 (无 限 可 分 分 布 ) Fx(z) 是 无 限 可 分 分 布 的 ， 如 果 存 在 iid 随机 变量 {X1，…， 
X,.,) 使 得 : 


Y, = X) Xun HENNEN (6-45) 
=1 


具有 与 X 相同 的 分 布 ， 则 它们 是 等 价 的 随机 变量 。 

{Xam} 的 双 下 标 是 用 来 强调 {Y,} 是 由 不 同 的 随机 变量 的 和 得 到 的 。 否 则 ， 如 果 只 有 一 
个 下 标 ， 我 们 可 以 写 为 ,二 Yi 十 X,， 则 Y, 和 Y,-! 不 具有 定义 所 要 求 的 相同 的 分 布 。 由 
于 随机 变量 是 iid 的 ， 它 们 的 和 的 分 布 可 由 相同 的 pdf 的 mn 一 1 次 卷 积 得 到 。 如 果 X RBA 
限定 义 域 ， 则 它 不 是 无 限 可 分 的 。 例 中 包括 了 贝塔 分 布 和 连续 的 以 及 离散 的 均匀 随机 变 
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量 。 运 用 特征 函数 (CF) ， 卷 积 对 应 于 相 乘 : 
Bx (w) = Dy (w) = leo. (w) = DB (w) (6-46) 


由 于 各 n 时 刻 的 随机 变量 是 iid 的 ， 所 以 得 到 了 上 式 中 最 后 一 个 等 式 。 因 此 ， 如 果 对 
每 个 "EN,， X WCF 可 以 被 写 为 男 一 个 CF BFE, MU X 是 无 限 可 分 的 。 表 6-1 总 结 了 附录 
A 中 具有 这 种 特性 的 几 种 分 布 。 


表 6-1 无 限 可 分 分 布 的 例子 















随机 变量 X{ 参 数 } 
柯 西 分 布 {c，a} 


特征 函数 : Dx(w) 或 Ox (jw) 


exp(jwc—a [w | ) 








g rdp (A. r) [A/A—jw) 1" 

几何 分 布 { 力 } b[l1—qexp(jo)] 1 

高 斯 分 布 {yx，o) exp(jwp—a w? /2) 

负 二 项 分 布 {p，N} pv/[1— gexp(jw) J 

WE la) exp(a(exp(jw) —1)) 

FER titir) KaGF|o|)WQFlo|)r7PGr/2)2"2-: 





D 考虑 参数 为 {4,r} 的 你 马 随 机 变量 ， 表 中 给 出 了 其 CF: 


eo = (45) ~ [GJ an 


其 中 {Xrist Xan) 是 参数 为 {A,r/n} 的 iid 伽 马 随机 变量 。 这 个 例子 说 明了 到 不 同 ， 随 机 
变量 集 不 同 ， 因 此 X,,n 需 要 两 个 下 标 。 同 样 ， 对 高 斯 随机 变量 : 
Bx (o) =exp(jeu — w /2) = (exp([jou — ow /2 ]/n))" 
=[exp(ja(u/n) — (o° /n)w’ /2) |” (6-48) 

其 中 (X, a|". Xan) 是 参数 为 (p/n,0°/n} 的 iid 高 斯 随机 变量 。 < 

有 些 随机 变量 的 无 限 可 分 性 不 容易 被 直接 看 出 ， 如 学 生 氏 :上 分布。 还 要 注意 的 是 
{Xnaettt> Xan) 可 能 与 X 不 具有 同类 型 的 分 布 ， 对 几何 随机 变量 可 以 证 明 这 点 。 如 果 将 定 
义 域 移 到 Z( 而 不 是 和 NN) (Johnson, Kemp, and Kotz，2005)， 则 对 数 随 机 变量 是 无 限 可 
分 的 。 

对 于 一 个 isi 随机 过 程 ， 任 何 增 量 可 以 分 为 更 小 增 量 的 和 。 特 别 地 ， 长 度 志 一 三 的 时 
间 间 隔 可 被 划分 成 N 个 连续 的 子 区 间 ， 每 个 长 度 为 (t; 一 t1)/N。 这 些 较 小 的 增 量 也 是 独立 
且 平 稳 的 ， 因 此 一 个 isi 随机 过 程 具 有 无 限 可 分 性 。 关 于 随机 变量 无 限 可 分 性 的 讨论 导致 
T isi 随机 序列 的 下 列 特性 。 

定理 6-3 当 且 仅 当 随机 序列 X[k] 可 以 被 表示 为 id 随机 变量 之 和 时 ， 它 是 一 个 isi 
序列 。 

证 明 : 必要 性 : 设 XLAJ 是 一 个 isi FH, REZ, EX Y[k1A X[k]— X[k—1], xem 
然 是 一 个 iid 序列 。 观 察 可 得 : 


Xie] = $) XTn] — X(n—1]) = DY (6-49) 


其 中 假设 X[0]=0, #— 个 等 式 成 立 是 因为 所 有 的 项 都 被 抵消 了 ， ARP Xe]. Ast 
XLkj] 被 表示 为 iid 随机 变量 的 和 。 

充分 性 : 如 式 (6-49) 第 二 个 求 和 项 所 示 ，X[kj] 为 iid 随机 变量 {YLnj} 的 和 ， 则 对 任意 
ko >k, 观察 可 得 : 
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X[k,] — X[k] = Sin] SEn] = > Y[n] (6-50) 


这 说 明 所 有 的 不 相交 增 量 是 独立 的 ， 因 为 它们 不 包括 { (YEn]) 的 任何 公共 项 。 任 何 增 量 
的 分 布 也 不 会 因为 时 移 而 改变 ， 因 为 {YLnj}) 分 布 相同 ,证 明 完 毕 。 
注意 到 不 同 尺寸 的 增 量 通常 具有 不 同 的 分 布 ， 独 立 、 平 稳 增 量 则 不 必 是 同 分 布 的 。 


6.8 mm 


本 节 中 ， 我 们 将 展示 随机 序列 一 个 有 趣 的 特性 ， 即 随机 序列 可 被 分 解 为 两 个 不 同 的 分 
量 ， 它 在 第 7 章 中 将 会 非常 有 用 。 为 了 不 失 一 般 性 ， 假 设 过 程 从 :一 0 时 刻 开始 。 

EMR APA) E[|X[k]|] 二 oo 的 随机 序列 X[ 包 是 一 个 蒜 ， 如 果 对 所 有 有 & 之 1， 有 : 

€CX[k]| XCO], X[k — 1J] = X[k—1] (6-51) 

一 定 要 注意 到 等 号 右边 是 没有 求 期 望 值 的 : 这 个 特殊 的 条 件 均值 是 随机 序列 最 近 的 随 
机 变量 X[k 一 1]。 重 写 这 个 表达 式 ， 观察 得 到 : 

e[ X[k] — X[k—1]|X(0],--,X[k—1]] = 0 (6-52) 
其 中 X[k 一 1] 被 移入 求 期 望 运 算 中 ， 因 为 它 也 是 条 件 作 用 的 部 分 。 这 个 表达 式 说明 通 常 凌 
序列 中 从 一 个 时 刻 到 下 一 个 时 刻 变化 为 0。 

END 设 Y[k] 是 一 个 伯 努 利 随 机 序列 ， 其 中 以 概率 户 一 PCH) 重 复 投掷 一 个 硬币 ， 
定义 X[k] 是 时刻 一 个 赌 徒 赢 钱 的 净利 总 和 。 当 硬币 出 现 正面 ( 电 )， 赌 徒 赢得 固定 的 金 
Hic>0; 否则 赌 徒 失去 同样 的 金额 <。 因 此 : 

X[k]+e, Y[k] = H 





X[k 十 1] = X[k]— c, Y[k]= T (6-53) 
UZ MARA ARH. RNA: 
£[X[k+1J| X[o],--,X[k]] =p(XLk] + c) + q( X[k] — o) 
=X[k]+ (p —q)c (6-54) 
其 中 gq 会 1 一 p。 只 有 在 游戏 公平 的 情况 下 ， 即 p=q=1/2 时 X[k] 是 一 个 拷 。 < 


对 例 6-12 和 例 6-13 ， 款 序列 的 定义 归纳 如 下 。 
EMF RARER) 随机 序列 YLR]，ELIYLA]|1]< 过 ce， 是 一 个 关于 序列 X[k 16 
$, HRAMA k21, HBR: 
ELYLA]|XLO] XLR 一 1]] = YLk— 1] (6-55) 
等 号 右边 是 Y[k] 之 前 的 样本 ， 不 是 条 件 序列 。 
ND) 参数 估计 中 一 个 有 用 的 量 是 似 然 函数 ( 见 第 9 章 )。 假 设 我 们 对 估计 一 个 iid 
随机 序列 的 pdf 的 标量 参数 9 有 兴趣 。 例 如 ， 参 数 可 能 是 一 个 高 斯 随机 变量 的 jy 或 是 投 挤 
硬币 得 到 正面 的 概率 力 。 考虑 参数 的 取 值 ， 得 到 两 种 假设 : Hy: d= 和 Hi: 0=0,. 也 
有 可 能 有 多 种 假设 ， 但 为 简单 起 见 ， 在 这 个 例子 中 我 们 只 考虑 两 种 假设 。 似 然 比 定义 为 : 


= fu a; A) = 
Atz) Fhe) (6-56) 


其 中 参数 的 值 明确 的 显示 在 每 个 pdf 的 变量 中 。 考 虑 随机 序列 的 个 时 刻 {X[1],*…, X[kj]} 
对 应 的 独立 随机 变量 ， he i taal 1979) 
x(X[m 390 

ACR] & I ere (6-57) 
它 本 身 也 可 被 看 做 是 一 个 随机 序列 。 A[ 问 中 的 随机 性 是 因为 pdf 被 写 为 随机 变量 {X[Lxm]) 
的 函数 (而 不 是 它们 的 试验 结果 )。 在 这 种 估计 问题 中 ，pdf 的 形式 是 已 知 的 ， 只 有 参数 需 
要 估计 。 对 这 个 例题 ,9 有 两 个 值 都 是 已 知 的 ， 我 们 需要 决定 的 是 在 观测 样本 给 定 条 件 下 
9 的 哪个 值 最 有 可 能 出 现 。 考 虑 以 下 ALA] 的 条 件 期 望 : 
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(6-58) 
将 AIHERRA, AH k ial pd 的 比值 分 离 出 来 。 由 于 随机 变量 是 独立 的 ， 期 望 值 
分 解 为 乘积 : 
an -n ef Th LAm) on _ 
ECACR]I XEL], +, XCR — 171 =e| II XC 17| 
fx(XTR1;0) y 
1 ager eh ae 
第 二 个 期 望 值 的 条 件 不 需要 ， 因 为 XLR] 不 是 条 件 的 部 分 ， 而 随机 变量 是 独立 的 。 由 
于 第 一 个 期 望 值 是 Alk=1]; 则 : 
iz ATTAN fx X[k];6) 4 
eCalel| X[1].«.X&—1]] = ale ite ea | (6-60) 
当 且 仅 当 等 号 右边 的 期 望 等 于 1 时， 可 以 证 明 AL&] 是 关于 X[LA] 的 一 个 蒜 。 这 种 情况 发 生 
在 实际 参数 为 0 时 ， 因 此 : 
fx X[E];6,) _ |. fx (2390) i — = š = " 
[a= |. egy fr Crs0d des = | fxasi6 dz = 1 6-61) 
wR ALR] 是 由 mp HO 互 换 来 定义 ， 则 0, 会 在 以 上 的 结果 中 用 到 ， 如 果 A[k] 的 分 母 
依赖 于 实际 参数 ， 则 其 为 蒜 。 < 
URAR (jS # (de Moivre) HR) 当 例 6-11 F p2Zq 时 ， 仍 有 可 能 通过 定义 以 下 序 
列 找 到 一 个 拷 : 





YLR] = (q/p)*™ (6-62) 
其 中 XLA] 是 初始 的 伯 努 利 序列 ， 则 : 
g[Y[£ + 1]| X[1],:--, X[k]] =EL(q/p)**™ | 和 XL1]， XER] 
= p(q/p)™*** + q(q/ p) Xt c (6-63) 
其 中 用 到 了 式 (6-53) 中 的 条 件 。 将 表达 式 重 写 为 : 
ECYC + 1]J| X[1J,::: , X[k]] =(q/p)™ [plq/p)' + q(q/ p) °] 


=Y[kJ[p(q/p)° +a p/o] (6-64) 
我 们 可 以 看 到 Y[k] 是 一 个 相对 于 XA], RE c 王 1， 即 在 每 个 时 刻 &， 赌 徒 必须 赢 或 
输 1 个 单位 量 。 < 


以 下 定理 是 蒜 序 列 的 另 一 种 扩展 ， 其 条 件 中 最 近 的 随机 样本 不 需要 是 前 一 时 刻 的 。 
定理 6-4 aAa) XLR] 和 n>k, H 1<k<n, # 
€[X[n]| X[0],--- , X[k —1]] = X[k—1] (6-65) 
证 明 : 包括 一 个 以 (X[0],:: , X[n — 1]) 为 条 件 的 内 部 望 值 ， 则 
€(X[n]| X01,.…, X[k —1]] =ELeLX[n]| XLO], s XC — 14) X[0],**,XLk—-1)] 
=€[X[n—1]| X[0J],::: sX — 1]] (6-66) 
第 二 个 等 式 成 立 是 因为 假设 X[k] 是 一 个 著 。 将 另 一 个 以 {XL0],…,X[n 一 2]} 为 条 件 
的 内 部 期 望 包 括 进来 ， 则 最 后 一 个 表达 式 变 为 : 
EL[X[n—1]|XE0],:*, X[k—1]] =ELELX[n —1]| X[0],---,X[m—2J]1]| XLo], +, X[# —1]] 
=£[X[n —2J| X[0],---, X[k—1]] (6-67) 
继续 对 X[n—3], Xin- FERRA, APSE X[k 一 1]， 式 (6-66) 的 等 号 左边 
变 为 ; 
£[X[n]| X[0]J,-: ,x[£— 1J]J = €[X(k—1]| X[0],-, X[k—1]] = X[k — 1] 
(6-68) 
证 明 完 毕 。 
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这 个 定理 可 扩展 运用 到 随机 序列 YL&] 中 ， 它 是 与 下 面 随机 序列 X[ k AR 2 By 88: 
M1l<k<n, 有 €E[Y[n]|X[0], +, X[k—1]]=Y[k—1] (6-69) 
为 完整 起 见 ， 我 们 给 出 如 下 定义 。 

EX (T kde LR) 随机 序列 X[kj] 是 下 著 ， 如 果 满 足 对 所 有 上 宇 1， 有 


€[X[k]| X(0],-+,X[k—1]] > X[k—1] (6-70) 
刀 果 满足 对 所 有 RD, A 
ELX[k]| XCO], X[k—1]] < X[#£ — 1] (6-71) 


则 是 上 鞭 。 

因为 定义 中 包括 了 等 号 7 所 以 款 一 定 是 上 款 和 下 款 。 注 意 到 例 6-11 中 伯 努 利 序列 在 
p>qtt#—+t+ ER. ME p< q BE: — 4 FRA T co). 

最 后 ， 给 出 随机 过 程 的 蒜 的 定义 ， 其 中 T 为 连续 时 间 。 

TEM (Rt AZ) ELIX 过 ce 的 随机 过 程 XOR—-AR, RRR <t, 有 


ER (6-72) 
pmi Ya), £[|YG) |] <o, Z— 4 483 EXOR, MRBRA t <t, 有 
CYC XY esl sy (6-73) 


对 一 个 连续 时 间 鞭 过 程 ， 期 望 值 减 为 了 在 条 件 中 只 包含 最 近 时 间 的 随机 变量 。 接 下 来 
的 定理 对 独立 增 量 过 程 非常 重要 ， 其 中 包括 了 几 个 非常 著名 的 例子 (有 一 些 会 在 稍 后 讨论 ) 
定理 6-5 一 个 均值 为 零 的 独立 增 量 过 程 X (t) Z — 48 # 
证 明 : 根据 均值 运算 的 线性 特性 ， 可 得 : 
ELX Cta) | X(t) ,t < $] = ELX) — XC) | XG) I < n] HEX X(2,t < nn] 
(6-74) 
由 于 此 随机 过 程 具 有 独立 增 量 ， 等 式 右 边 的 第 一 个 均值 运算 的 条 件 可 以 舍弃 : 
ELX IX), t < n] = €LX(.) — XJ] + ELXG,) |X@.t<t,] (6-75) 
应 用 给 定 的 零 均 值 假 设 ， 得 出 : 


ELX IXO, < n] = 0 HEX) XG, < n] = Xa) (6-76) 
其 中 我 们 用 到 了 等 式 右边 的 条 件 中 包含 XC ) 的 这 个 事实 ， 证 明 完 毕 。 
注意 到 零 均值 的 假设 是 必须 的 。 


维 纳 过 程 W(1)( 稍 后 将 讲 到 ) 是 独立 增 量 过 程 ， 它 也 是 一 个 扶 。 我 们 可 以 通 
过 直接 求 条 件 均 值 来 证 明 这 个 特性 。 稍 后 将 在 第 9 章 中 对 联合 高 斯 随机 变量 X 和 YY 的 参 
数 估计 中 给 出 证 明 ， 条 件 均 值 为 : 
ELX[Y] = py +(Cyy/a:) (Y — py) (6-77) 
对 一 个 维 纳 过 程 ， 变 量 为 XSX t), Y=X(), py=py=0, Cxy (ti, ti)=min(t, 
=n UR ot. WA ETRA R): 
w 1 <t, 有 ELX | XG) =X) ` (6-78)< 
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随机 序列 的 以 下 特性 包括 了 几 个 时 刻 的 条 件 作用 。 

定义 (马尔 可 去 序列 ) 马尔 可 夫 序列 XLAJ] 是 一 个 时 间 索 引 的 随机 变量 集 ， 满 足以 下 
马 汞 可 夫 特 性 : 

P(X[k] = z=,|X[1] = z, 0 X[k —1] = z+) = P(X] = z, |X[E — 1] = z+.) 
(6-79) 

马尔 可 夫 序 列 通常 也 被 称 为 马尔 可 夫 链 。 

对 一 个 马尔 可 夫 序 列 ， 在 之 前 所 有 时 刻 的 输出 都 给 定 的 条 件 下 ， 某 个 特定 时 刻 输 出 的 
概率 只 与 最 近 时 刻 的 输出 有 关 。 输 出 的 完整 历史 是 不 需要 的 。 式 (6-79) 中 的 特性 有 时 被 称 
为 一 步 马 尔 可 夫 ， 它 可 以 扩展 到 m, WFR., 
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定义 (m 阶 蕊 尔 可 夫 序 列 ) 对 上 >m， 一 个 m 阶 马尔 可 夫 序 列 具 有 如 下 性 质 : 
P(X[#] =x, | X[1] = z, st Xlk— m — 1I] = trwa XR m] = Fem? XLR— 1) = ae) 
=P(X[k| = z, |X[Ë — m] = rene [k= 1] = zk) (6-80) 
尽管 马尔 可 夫 序 列 可 以 用 可 数 无 限 个 输出 的 集合 来 描述 ， 但 绝 大 多 数 马尔 可 夫 应 用 包 
括 的 都 是 具有 有 限 个 输出 的 序列 。 这 样 的 随机 序列 可 用 有 限 个 状态 来 描述 。 
定义 (马尔 可 夫 链 的 状态 ) 马尔 可 夫 链 的 状态 是 指 在 任意 时 刻 R 的 随机 变量 X[R] 的 
可 能 输出 。 
为 方便 标记 ， 我 们 将 一 步 条 件 概率 表示 如 下 : 
m PIXU] = 区 区 一 1 三 2) (6-81) 
假设 过 程 平稳 ， 则 {2z,。} 不 依赖 特定 的 时 刻 值 &。 状 态 通 常 都 用 2+ 的 子 集 做 有 序 的 编 
号 ， 因此 可 以 被 看 做 由 真实 的 输出 到 实数 的 映射 ， 这样 操 作 起 来 更 方便 。 
假设 有 有 限 个 状态 ， 一 个 马尔 可 夫 链 可 用 一 个 状态 转移 矩阵 来 描述 。 设 状态 数 为 M. 
将 其 标记 为 1,…,M ， 用 来 表述 X[k] 的 输出 。 列 向 量 p[k] Ap, [k], pa [k]J' € LO, 
1]* 表示 在 时 刻 & 序列 在 M 种 可 能 中 的 每 一 个 状态 的 概率 (注意 不 要 将 状态 概率 p,,[&j] 与 概 
率 质量 函数 (pmf)px[Lzx] 混 淆 )。 状 态 转移 和 矩 阵 P 了 PE [0,1]M 的 元 素 为 : 





11 aie Pim 
pA: ate : (6-82) 
MI ... Pum 
其 中 {pm} 由 式 (6-81) 给 定 。 由 条 件 概率 的 定义 ， 考虑 pLk] 的 第 nn 个 元 素 : 
加 [Lk] = Pte] = n,X[k—1] = m) 
= DUP (X[k] = n|X[k—1] = m) P(X[k—-1] = m) (6-83) 
求 和 运算 作用 于 随机 序列 Ek —1 edna win Chap. 用 己 中 元 素 的 符号 ， 我 们 得 到 
p. [E] = X-pa = (6-84) 
这 是 根据 全 概率 公式 得 到 的 。 对 完整 的 状态 向 量 ， 时 刻 & 一 1 转移 到 满足 以 下 递 推 关系 : 
p [k] = p'[k—1]P (6-85) 


也 可 写 为 列 向 量 : p[E]=P'p[k—1], WEA AEREI AERAR AKE RAR 
可 夫 链 的 书 保持 一 致 。 这 种 表示 方法 更 可 取 ， 是 因为 我 们 更 习惯 将 ps 看 做 是 由 状态 m 到 
n( 下 标 由 左 至 右 )， 它 需要 将 p[k 一 1] 的 元 素 用 P 的 第 n 列 的 元 素 加 权 来 得 到 p.[ z]. 
BR, P 的 元 素 必须 是 非 负 的 ， 因 为 它们 是 概率 。 如 果 有 一 个 元 素 Pm HE, M HAR 
AS m 到 nn 的 转移 就 不 会 发 生 。 但 是 只 要 pm A0, HRA n A m 的 反 向 转移 就 有 可 能 。P 
通常 不 是 一 个 对 称 和 矩阵。 从 时 刻 & 一 1 到 有， 必然 要 发 生 什么 : 或 者 移动 到 一 个 不 同 的 状 
A. 或 者 保持 同一 个 状态 。 这 意味 着 了 的 每 一 行 的 和 为 1。 总 结 如 下 ，P 的 两 个 最 典型 的 
性 质 为 : 
pa m,n = 1,---,M (6-86) 


peer ， m=1,,M (6-87) 

状态 转移 矩阵 通常 也 称 为 随机 阵 ， 由 于 
每 一 行 的 和 为 1，P 又 被 称 为 右 随 机 阵 。 

OB 图 6-8 给 出 了 一 个 具有 三 个 状 

态 的 马尔 可 夫 链 的 状态 转移 图 。 设 其 具有 如 

下 状态 转移 矩阵 ; 图 6-8 三 个 状态 的 马尔 可 夫 链 的 例子 
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Ó: 1 MOSS 066 
p= o 0.5 o-s (6-88) 
0.9 0.1 0 
当 序 列 进 入 状态 3， 它 一 定 会 在 下 一 时 刻 转 移 到 一 个 不 同 的 状态 ， 因 为 p33 二 0. (对 转 
移 概 率 为 零 的 情况 ， 一 般 和 不 会 在 状态 转移 图 中 标注 箭头 )。 注 意 到 矩阵 中 每 一 行 的 和 都 为 
1， 列 一 般 不 满足 (当然 要 看 具体 情况 ， 一 列 或 儿 列 也 可 能 和 为 1)。 < 
我 们 总 结 一 下 马尔 可 夫 链 的 一 些 重 要 性 质 ; 
定义 (不 可 约 ) 一 个 马尔 可 夫 链 是 不 可 约 的 ， 如 果 任 何 状 态 总 可 以 由 任意 其 他 状态 在 
某 点 时 间 到 达 。 — 
这 意味 着 存在 二 0 WE: 
P(X[k] = n|X[0] = m) >0 (6-89) 
不 可 约 并 不 意味 P 中 所 有 转移 概率 都 是 非 零 的 。 尽管 例 6-15 中 已 中 有 两 个 元 素 为 零 ， 
我 们 看 到 它 仍 可 能 到 达 任 意 状态 (这 点 可 以 非常 容易 由 状态 转移 图 证 明 )。 特 别 是 ， 尽 管 序列 
不 能 由 状态 1 转移 到 状态 2， 因 为 Pi, 二 0, 但 它 仍 可 以 通过 先 转 移 到 状态 3， 再 到 达 状 态 2, 
URAD 一 个 具有 以 下 状态 转移 矩阵 的 马尔 可 夫 链 就 不 是 不 可 约 的 : 
6 05 0 0 
0.2 0.8 0 0 
PEW CW rT 6.9 6992 
a BPs “g? 
状态 1 和 2 在 任意 时 刻 都 不 可 能 到 达 状 态 3 和 4， 反 之 亦 然 。 < 
这 表明 例 6-16 “PAY P AANA., 
定义 (相通 类 ) 马尔 可 夫 链 中 的 一 个 相通 类 是 状态 的 一 个 子 集 ， 这 些 状 态 之 间 可 以 互 
相 到 达 ， 与 类 之 外 的 状态 不 能 互通 。 
因此 ， 一 个 不 可 约 马 尔 可 夫 链 只 有 一 个 相通 类 。 对 于 例 6-16， 我 们 将 两 个 相通 类 看 做 
两 个 隔离 的 不 可 约 马 尔 可 夫 链 。 
不 同 于 一 步 转 移 ， 通 常 检查 状态 转移 类 型 要 方便 些 。 考 虑 从 状态 m 经 过 r 步 以 如 下 条 
件 概 率 转 移 到 状态 n: 





ER SI (6-91) 
在 定理 6-6 中 ， 我 们 将 证 明 怎 样 由 低 阶 转移 概率 得 到 这 些 转移 概率 。 
定理 6-6(Chapman-Kolmogorov) 对 马尔 可 夫 链 X[k]， 一 个 r+ 步 转 移 概率 可 由 (7 一 1) 
步 转移 概率 计算 得 到 ， 如 下 所 示 : 


M 
peo = SO PS 2. (6-92) 
q=l s 


其 中 pa =Pm o 
证 明 : 由 式 (6-83) 的 全 概率 公式 可 得 : 


PCX[r] =n) = SPAC =n|X[(r—1] = Q P(X[r—1] = g) (6-93) 
以 初始 状态 X[0] 一 m 为 条 件 可 得 ， 
P(XLr] = a |XT6] = m) SPPA = n|X(0] = zxXTe—11 =) 
"Pee 1] = q|X[0] = m) 


(6-94) 
用 以 前 的 符号 ， 得 到 : 


M 
pin = >) PCX[r] = n|X[0] = m,X[r—1]= D pg” (6-95) 
q=1 


q 
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由 于 X[kj 是 一 个 马尔 可 夫 链 ， 可 以 得 到 : 
P(X[r] = n| XLo] = m, X[r— 1] = @ = XU] = n| X> — 1] = gq) = pb, (6-96) 
证 明 完 毕 。 
定义 广 步 状 态 转移 矩阵 P”， 其 元 素 为 {p 品 }， 由 式 (6-92) 中 的 求 和 项 给 出 如 下 递 推 关系 : 


PY — pp (6-97) 
反复 应 用 Chapman-Kolmogorov 等 式 ， 可 得 
ER = pee ps (6-98) 


其 中 王 是 初始 的 一 步 转移 矩阵 。 

定义 ( 瞬 态 、 常 返 态 和 吸收 态 ) 瞬 态 是 指 如 果 进 入 此 状态 后 ， 有 一 个 非 零 的 概率 使 得 
这 个 状态 不 会 再 次 被 到 达 。 而 常 返 态 会 以 概率 1 再 次 到 达 。 了 吸收 态 一 宇 到 达 ， 就 不 可 能 再 
离开 这 个 状态 。 

显然 对 于 吸收 态 m, A Prom = 1 和 加 二 0( 当 双关 z)。 关 于 瞬 态 和 常 返 态 可 用 下 式 描 
述 。 定 义 条 件 概率 ， 


po A P(XK[k]= n, X[m]Z nym = 1,---sk—1|X[0]—mn) (6-99) 
这 是 序列 只 在 时 刻 回 到 初始 状态 nn 的 概率 ， 则 : 
>) BY Ag, (6-100) 


k=1 


是 序列 在 时 间 上 某 一 点 回 到 状态 n AE. A. HARSA =l, TBE AB, <1. 
对 可 能 或 不 可 能 再 次 到 达 的 瞬 态 访 二 0 不 是 必须 的 。 这 种 不 容易 计算 的 表述 导致 了 以 下 定 
理 ， 我 们 将 不 加 证 明 地 给 出 定理 的 描述 。 

定理 6-7 状态 n 是 瞬 态 ， 当 且 仅 当 


oo 


SP? Zoo (6-101) 
它 是 常 返 态 ， 当 且 仅 当 


> 9 = co (6-102) 


由 此 我 们 得 到 一 个 结论 ， 我 们 只 需 检 查 转 移 矩 阵 王 的 对 角 线 元 素 ， 就 是 一 个 马尔 可 夫 
链 在 下 次 转移 时 仍 留 在 同一 状态 的 概率 。 
Heme 考虑 以 下 转移 矩阵 : 
0 On 6 1 
pe 1/3 «1/3 1/3 -0 ias; 
0 “o 1 0 
1 0 0 
这 个 简单 的 例子 的 特征 很 容易 用 图 6-9 中 的 状 
态 转移 图 来 描述 。 状 态 3 很 显然 是 一 个 吸收 态 ， 
状态 1 和 4 是 常 返 态 。 状 态 2 是 一 个 瞬 态 ， 因 为 它 
不 会 再 次 到 达 的 概率 为 2/3。 4 图 6-9 例 6-17 的 状态 转移 图 
利用 式 (6-98) 的 结果 ， 只 要 初始 状态 pL0] 已 知 ， 则 未 来 任意 时 刻 的 状态 概率 都 可 能 计 
算出 。 式 (6-85) 的 递 推 形式 对 应 于 一 个 “输出 ?为 pLkj] 的 线性 系统 。 它 实际 上 是 状态 空间 模 
型 的 一 类 ， 只 是 输入 为 零 ， 并 且 写 为 行 向 量 形式 ( 见 第 1 章 )。 我 们 知道 这 样 一 个 线性 系统 
的 行为 是 受到 P 了 的 特征 值 控 制 的 ， 它 与 系统 的 极点 一 致 。 这 些 需要 求解 特征 方程 得 到 。 
定义 (特征 方程 ) 一 个 转移 矩阵 为 王 的 马尔 可 夫 链 的 特征 方程 为 : 
det(P 一 MT) = 0 (6-104) 
# F IERM — AA BEBE, l ALARE, det(A)2Ë 2 F£ A 的 行列 式 。 
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这 个 特征 方程 是 一 个 4 的 M 阶 多 项 式 ， 最 多 有 M 个 与 已 的 特征 值 对 应 的 独立 解 。 
考虑 以 下 二 阶 状态 转移 矩阵: 





0.2 0.8 
gas baie ny ey 
特征 方程 为 : 
T L T y pie i 
detl ap Moma TA GA 03 (6-106) 
=(A-1A+0.3) = 0 (6-107) 
得 到 特征 值 [一 0;3,1]。 一 一 < 


以 下 是 P 的 一 个 有 用 的 特性 ， 因 为 它 的 每 行 的 和 为 1, 
定理 6-8 3|A|<1 时 ,状态 转移 矩阵 了 的 特征 值 是 有 界 的 。 至 少 有 一 个 特征 值 等 
Tuba 
证 明 : 由 特征 方程 开始 : 
Pq = àq (6-108) 
对 非 零 右 特征 向 量 qe RM. WERE Pq WA m fF, X <M, € lanl > lal: 
M 


E pudl = da. (6-109) 
由 于 PP 中 元 素 是 非 负 的 ， 我 们 得 到 以 下 本 出 界 。 
lq, |< > pm la. | (6-110) 


由 于 gq。 是 q 中 所 有 元 素 中 幅度 最 大 的 ， RAE Ah AYE |g, | AY VA FA | qm | 来 替换 以 
得 到 另 一 个 上 界 ，| dm | 可 以 分 解 为 ， 


> pm la» I< [el Dp = |gn| (6-111) 
其 中 用 到 了 PP 的 每 一 行 的 和 为 1( 即 对 列 索引 元 求 和 )。 将 这 些 结论 联系 起 来 得 到 : 
laq, |= lA] lam |< lam |>laAl<1 (6-112) 


注意 到 这 个 结论 适用 于 P 的 任意 特征 值 ， 上 式 中 我 们 并 没有 选择 一 个 特定 的 特征 值 4 
和 右 特征 向 量 qg。 最 后 ， 由 于 PP 的 每 一 行 的 和 为 1， 可 以 得 到 : 
Pl=1 (6-113) 
其 中 1 会 [1,…,1]”E€ RM. 这 是 右 向 量 为 1， 特 征 值 4 二 1 时 的 特征 方程 。 因 此 ,PP 至 少 有 
一 个 特征 值 为 1， 证 明 完毕 。 
Bit PAM 个 线性 独立 的 左 特征 向 量 ， 考 虑 P 卫 的 以 下 分 解 形式 : 
VTP = AV’>P = V "AV" (6-114) 
Hp VT 的 行 是 P 的 左 特征 向 量 , A 是 一 个 包括 了 特征 值 {Av} 的 对 角 线 矩阵 ( 见 附录 G). 
展开 为 乘积 求 和 的 形式 得 到 


P = > savi (6-115) 


其 中 {vm} 是 V” 的 行 (V KIAD, (sm) V 7 的 列 (V- ' 的 行 )。 注 意 到 左 、 右 特征 向 量 是 不 相 
同 的 ， 除 非 了 正好 是 对 称 的 ， 通 常 马 尔 可 夫 链 不 满足 这 种 情况 。 左 特征 向 量 并 不 是 唯一 
的 : av, (如果 a 取 0) 也 是 一 个 与 相关 的 特征 向 量 。 为 了 方便 起 见 ， 特 征 向 量 一 般 都 是 单 
位 长 度 的 : viv,=l. HERB. P 也 可 按 上 式 分 解 ， 即 P 和 P 有 相同 的 特征 向 量 ， 唯 一 的 
差别 是 用 4 取代 了 A。 通过 做 这 样 的 特征 分 解 ， 时 刻 & 的 状态 概率 可 以 被 表示 为 如 下 所 
示 的 非 递 推 形式 : 


M 


M 
p'[k] = Xp" [0]s, y; ey (6-116) 
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其 中 cv 会 p'L0j]s。 是 一 个 标量 。 这 个 表达 式 具 有 等 比 级 数 的 形式 ， 因 此 为 了 确保 ple] Bei 
E k 的 增长 是 有 限 的 ， 对 任意 m4 | 必须 不 超过 1。 尽管 式 (6-116) 中 需要 叫 的 左 特 征 向 量 
和 特征 值 ， 我 们 也 没有 必要 必须 知道 {s, }， 而 只 需要 知道 {c,,}， 在 接 下 来 的 例题 中 会 证 明 
这 些 可 由 初始 条 件 得 到 。 最 后 ， 可 以 通过 定义 状态 转移 矩阵 P, HULA RHA 
向 量 的 形式 表示 。 但 是 ,正如 以 前 提 到 的 ， 绝 大 部 分 书 中 关于 马尔 可 夫 链 的 己 的 定义 都 是 
P(X[k]=n|X[k—1]=m])= pm 

RAS AY Fe AS BEE» PBlimp[k]= ploo], Fl hz (6-116) A= 1 的 所 有 项 得 到 ， 由 于 
| A | <1 时 对 应 的 其 他 项 会 衰减 到 零 ( 例 6-20 中 检查 了 了 ， 它 的 两 个 特征 值 是 单位 幅 值 ) 。 
假设 第 n 个 特征 值 为 1， 则 稳 态 解 为 : 


M 


pleo] = lim A. CHALV mn F c v, = c,v, (6-117) 
ES Ap =1 时 对 应 的 特征 向 量 成 比例 关系 (尽管 我 们 已 将 这 个 表达 式 写 为 了 一 个 列 向 量 ， 
v 仍 是 P 的 一 个 左 特 征 向 量 。) 
对 例 6-18 中 的 P， 特 征 向 量 可 以 通过 解 以 下 两 个 矩阵 方程 得 到 ， 


0.5 0.8 
vt(P+0.31) = "| TM ,| = 0 (6-118) 
— 6 Ë bud 
i S š p == K. 
V2 (P Iq: al 0.5 —0. | 0 (6-119) 
得 到 ， dsla =i] in 1.6] (6-120) 
p[k] = a C— 0.3 [ _ ial, A (6-121) 
假设 初始 状态 概率 向 量 为 pLO] = [0.6,0.4]!1, H A (6-117) PRAGRY 2 3 # 3; 3 
Ls ms 
vg doth Ries = Ieee a kakuq asa Re (6-122) 
由 初始 状态 : 
1 1 0.6 
o =al sel, = (6-123) 


第 一 行 给 出 了 a te, =0. 6 过 al 二 0.6 一 1/2. 6 过 0. 215。 我 们 也 可 以 通过 求解 式 (6-123) 中 
两 个 线性 方程 得 到 cl 和 cs 的 值 。 当 然 ， 就 如 上 题 所 做 的 ， 通 常情 况 下 首先 由 分 解 式 的 稳 态 
项 求 出 一 个 系数 的 方法 简单 些 (因为 至 少 有 一 个 特征 值 为 1)。 在 M=3 时 ， 这 种 方法 更 有 用 ， 
因为 一 旦 一 个 系数 已 知 ， 很 容易 通过 解 三 个 线性 方程 中 的 两 个 来 得 到 另 两 个 系数 。 < 

通常 ，P E— + 3Ef JE EE , 

定义 ( 正 阵 和 非 负 矩阵) je KO EF A F Er h L t P 362 E, MEEA ATER, wR 
所 有 元 素 非 负 ， 则 它 为 非 负 和 矩阵。 

正 阵 与 正定 矩阵 是 不 同 的 ， 正 定 和 矩阵 中 所 有 的 特征 值 严格 为 正 。 而 我 们 在 例 6-18 中 
看 到 正 阵 P， 它 的 特征 值 可 以 为 负 。 如 果 P 了 正好 是 正 阵 ， 则 以 下 的 定理 描述 了 一 些 非常 有 
用 的 特性 ， 我 们 不 加 证 明 地 给 出 。 

定理 6-9( 佩 龙 - 弗 罗 宾 尼 斯 (Perron-Frobenius)) spP EA € (0,co)MY 

° 存在 一 个 实数 特征 值 io 过 0， 这 样 所 有 其 他 特征 值 满足 | 外 |<)u。 

eA 的 重 数 为 1。 

e 存在 一 个 与 A。 相关 的 左 特 征 向 量 y 和 右 特征 向 量 q: VAS 和 Aq=Aq, v cq 

只 有 正 的 元 素 。 
° 不 存在 其 他 正 的 特征 向 量 。 
ej. 的 大 小 受 A 中 元 素 约束 ， 具 体 关系 如 下 : 
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min > am =< 25 =< max > (6-124) 


最 后 一 个 特性 确保 了 对 于 一 KB TRH RAB MM PHL]. to R P RAE 
负 的 ， 则 不 能 采用 这 个 定理 的 所 有 结论 。 用 |A |< 来 代替 (等 号 也 可 以 成 立 )， 相 关 的 左 
和 右 特征 向 量 是 非 负 的 。 

考虑 以 下 非 负 转移 矩阵: 

P= ñ A (6-125) 
由 det(P 一 A1) 二 一 1 二 0 可 得 特征 值 为 士 J。 对 这 个 P 为 非 负 的 简单 的 例子 ，Perron- 
Frobenius 定理 的 第 一 个 结论 并 不 满足 严格 不 等 式 。 与 4 二 {一 1,1) 对 应 的 特征 向 量 分 别 为 
(1//2)[—1,1]* 和 (1/V2)[1,1]'。 对 这 个 例子 ， 式 (6-116) 的 表达 式 为 : 


ple] = zlec sai H afi] (6-126) 
因为 一 一 1， 则 其 不 存在 一 个 稳 态 。 这 个 序列 不 停 地 在 状态 1 和 2 之 间 转 换 。 < 
考虑 正 阵 ; 
1737 1/3 1⁄3 
L 区 1⁄2 7i (6-127) 
/3 1/6 _ ¥/6 
È (6-116) J: 
. 669 0. 798 — 0. 603 
rey fasts tac 0.200 | -0.27 toc.200| ol (6-128) 
0. 446 — 0. 550 —0.175 
与 4 二 1 对 应 的 特征 向 量 是 唯一 的 正 特 征 向 量 ; MHP, Pü 4-3 2 Z K MO REP 
所 有 结论 都 成 立 。 稳 态 结 果 为 ， 
.669 
ploo] = «fs (6-129) 
0. 446 
cl 一 0.585， 则 向 量 中 元 素 的 和 为 1。 < 


GERÐ 在 这 个 例子 中 ， 我 们 考虑 一 个 大 家 熟知 的 马尔 可 夫 链 : 一 维 随机 游 走 ( 如 
图 6-10 所 示 )。 存 在 N 十 1 种 状态 ， 转 移 只 在 相 邻 状态 间 发 生 ， 或 者 保持 在 当前 状态 。 转 
ME PERN+DXNt+D 具有 如 下 和 形式: 


ro Po 0 ... 0 
(a Tua Ñ š 
0 q w U "Q 3 
P= |. ` (6-130) 
: sç p 0 
rp 
ila a Oh Digi org 


其 为 三 对 角 线 的 。 注 意 到 对 内 部 状态 满足 加 十 g 十 r 王 1， 但 对 状态 0 和 N 分 别 满足 ro 十 
po 二 1 和 gn 十 ry 二 1。 这 样 一 个 转移 矩阵 会 出 现在 有 两 个 玩家 A 和 B 的 赌博 竞赛 中 ， 其 中 
最 大 的 赢 数 为 N。 设 图 6-10 代表 的 状态 
X[k] 是 A Emak RIAH, CK, BRA 
数目 为 N 一 XLR]。 这 种 竞赛 可 以 用 投掷 一 枚 
有 偏 的 硬币 来 模拟 ， 设 P(H)=p HA BN 
概率 ， 则 BARKER q 2.1— p, IRRE 图 6-10 例 6-22 中 一 维 随 机 游 走 的 状态 转移 图 
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币 竞赛 ，r 王 0( 因 为 每 次 投 撞 一定 会 有 人 赢 )， 当 一 个 玩家 累积 赢 的 数目 达到 N 时 ， 竞赛 
结束 。 这 意味 着 状态 0 和 NN 是 吸收 态 ; mm 三 内 三 1。 假设 初始 条 件 为 XX[0]=n: 玩家 A 处 
于 状态 nn， 这 样 玩家 B 赢 的 数目 为 N 一 n。 玩 家 A 输 的 概率 为 P(XLK] 二 0|X[0] 二 n)， 其 
+ K Amin{k>o: X[k]= 二 0 或 X[kj] 二 N)) 为 竞赛 持续 期 的 一 个 随机 变量 。 可 以 表示 如 下 
( 见 例 6-26); 
(pg — a Kpy Tp Sq 
(N—n)/N, p= q=1/ 
很 有 意思 的 是 当 p 仅 比 1/2 稍微 少 一 点 时 ，A 输 的 概率 却 会 急剧 增加 ， 这 是 因为 
式 (6-131) 中 的 非 线 性 形式 。 图 6-11 是 N=20 的 情况 。 这 些 图 不 是 pmf: 纵 轴 对 应 的 是 
式 (6-131) 中 特定 的 条 件 概率 。 ' 


P(X[K] = 0| X[0] = n) = 2 (6-131) 


P(X[k)=0IX[0]=n) 





1 


=n) 


P(X[K=01X[0] 
° 


0 5 10 15 20 
n 


c) 
图 6-11 玩家 A 在 例 6-22 中 输 的 概率 ， 其 中 初始 赢 n ik. BIER N= 20 iX, a) p=0.5; b) p=0.45; 
c) p=0. 25 a 


PEED 稍 后 描述 的 伯 努 利 序列 是 数字 通信 系统 中 比特 序列 建 模 的 有 用 模型 。 假 设 我 们 
对 计算 特定 比特 样式 感 兴趣 ， 比 如 输出 为 {0,1} 的 伯 努 利 序列 X[kj 第 1 次 出 现 1，1。 为 了 
检测 这 种 样式 ， 我 们 可 以 构造 一 个 有 限 状 态 机 (FSMD( 用 于 数字 逻辑 设计 中 的 术语 )， 它 等 价 
于 一 个 离散 时 间 的 马尔 可 夫 链 。 设 了 LA] 为 上 时 刻 的 状态 。 这 个 链 中 需要 三 个 状态 。 设 状态 0 
为 初始 状态 。 如 果 收 到 1，Y[k] 移 到 状态 1; 否则 它 仍 留 在 状态 0。 如 果 处 在 状态 1 时 ， 收 到 
1，Y[k] 移 动 到 状态 2; 否则 它 移动 到 状态 0。 状 态 转移 图 显示 在 图 6-12 中 ， 其 中 转移 标注 的 
是 收 到 的 比特 值 。 假 设 比特 值 等 概率 出 现 ， 转 移 概率 都 是 1/2。 当 到 达 状 态 3， 比 特 序列 1, 
1 被 检测 到 。 注 意 到 虚线 转移 也 包括 在 内 ， 用 来 显示 感 兴 趣 的 所 有 非 受 加 1，1 比特 序列 (而 
不 仅仅 是 第 一 次 发 生 ) 的 状态 图 。 在 以 实 线 标注 的 状态 转移 图 中 ， 转移 和 矩阵 为 : 
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J 2 4⁄2; 网 
P= 区 0 172| (6-132) 


0 0 1 


每 次 转移 概率 都 为 1/2 转移 标注 的 是 


Sd 收 到 的 比特 值 





如 果 所 有 1,1 序 列 都 
a 被 检测 到 ， 则 也 包括 
see 虚线 转移 


图 6-12 ”状态 转换 图 


其 中 包括 ps 二 1， 只 用 来 表明 状态 3 是 一 个 吸收 态 。 当 然 ， 一 旦 到 达 状 态 3， 本 例 中 将 不 
再 检测 未 来 的 比特 值 。 < 
假设 我 们 想 知 道 到 达 状 态 3 需要 的 平均 比特 数 N。 可 以 通过 大 家 熟知 的 一 步 分 析 法 来 
确定 ， 它 是 以 所 有 的 状态 转移 为 条 件 。 考 虑 以 下 条 件 期 望 : 
m &ECN|YLO] = 1],z, SELN|Y[0] = 2],n, AELN|YLO] = 3] (6-133) 
其 中 mw 是 给 定 YLOISD ERAS m, IARA 3 所 需 的 平均 比特 数 。 显 然 ，m 王 0; 另外 两 种 
情况 可 由 状态 转移 图 的 马尔 可 夫 性 得 到 。 首 先 观察 到 : 


£[N|Y[0] = 1]=1+é[N—1|Y[0] = 1] (6-134) 
£LN|Y[0] = 2] =1+ ECN — 14¥ [0] = 2] (6-135) 
其 中 每 个 表达 式 中 第 一 个 1 只 是 N 和 NN 一 1 之 间 的 计数 差 。 由 全 概率 定理 可 得 : 
n =1+ >) EL[LN—1|Y[1] = m]P(Y[1] = m|Y[0] = 1) (6-136) 
n =1+ ELN 一 11Y[I] = mJP(Y[1] = m|Y[0] = 2) (6-137) 


我 们 以 ”第 一 步 "为 条 件 (例如 ， 状态 转移 从 YL0] 到 YUD. BERMEARI nl,， 也 就 是 以 
状态 1 开始 到 达 状 态 3 需要 的 比特 数 ， 一 步 分 析 需 要 上 面 的 方程 也 同时 解 出 。 关 键 在 于 识 
别 出 平稳 性 的 原因 : 


£LN—1|Y[1] = m] = €[N|Y[0]—m] (6-138) 
H Y[0j 移 动 到 Y[1] 需 要 1 比特 。 将 状态 转移 矩阵 (一 0) 中 的 概率 代 和 人 得 到 : 
m = 1+ (1/2)m + 1/2) sn = 1 + (1/2)m (6-139) 


因此 平均 的 比特 数 为 mn 二 6。 从 状态 2 起 始 到 达 状 态 3 需要 的 平均 比特 数 也 可 以 得 到 : n = 4, 
6.10 马尔 可 夫 过 程 


考虑 连续 时 间 随 机 过 程 X CELA AS Pe At) es ty) ty 对 应 的 随机 变量 ， 我 们 
可 以 得 到 联合 pdf Fo …xevwCzGa)，ZzCN))。 通 常 ， 过 程 的 不 同时 刻 对 应 的 随机 变量 
是 相关 的 ， 或 者 可 能 是 独立 的 ， 这 种 情况 下 联合 pdf 分 解 为 N 个 边缘 pdf{ fxup (zt ))) 
的 乘积 。 我 们 感 兴趣 的 是 连续 时 间 随 机 过 程 的 马尔 可 夫 性 。 
定义 (马尔 可 夫 过 程 ) 随机 过 程 X(i) 是 马尔 可 夫 过 程 ， 如 果 条 件 pdf 可 以 简化 为 : 
xa, | Xa) eX ya) (x(ty) (TY azlin D = fx xn) (x(ty) | e(ty-.)) (6-140) 
马尔 可 夫 性 也 可 以 用 条 件 cdf ATA: 
PEX Cin) Satay) | CHD Say Ye X= ete) 
=P OX Ge) < zig) |X Cy) = (a) (6-141) 
对 于 离散 情况 ， 条 件 可 以 简化 到 只 需 包 括 条 件 中 定义 的 最 近 时 刻 的 随机 变量 。 在 时 间 
tv-i 之 前 的 随机 变量 都 不 相关 。 
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马尔 可 夫 过 程 一 词 常用 来 描述 具有 以 上 定义 中 特性 的 任意 过 程 ， 适 用 于 连续 或 离散 时 
间 。 如 果 过 程 具 有 有 限 或 可 数 个 状态 ， 则 通常 被 称 为 马尔 可 夫 链 。6. 9 节 中 马尔 可 夫 链 的 
内 容 只 包括 对 离散 时 间 的 分 析 ， 但 连续 时 间 的 马尔 可 夫 链 也 是 可 能 的 ( 稍 后 有 一 个 例子 是 
关于 泊 松 过 程 的 ) 。 如 果 一 个 马尔 可 夫 过 程 有 连续 的 现实 ， 则 称 其 为 扩散 过 程 ( 稍 后 有 一 个 
例子 是 维 纳 过 程 )。 表 6-2 中 总 结 了 各 种 马尔 可 夫 过 程 。 本 节 简 要 地 描述 具有 连续 现实 的 
连续 时 间 马 尔 可 夫 过 程 的 一 些 特性 。 


表 6-2 马尔 可 夫 过 程 分 类 和 示例 


马尔 可 夫 链 (有 限 状 态 机 ) 
连续 时 间 马 尔 可 夫 链 ( 泊 松 过 程 ) 
切 普 曼 - 柯 尔 莫 哥 洛 夫 (Chapman-Kolmogorov) 方 程 也 适用 于 连续 时 间 过 程 。 
定理 6-10( 切 普 曼 - 柯 尔 莫 哥 洛 夫 方程 ) 对 马尔 可 夫 随 机 过 程 X(t) 
Fropixn (z(a) 1204) = |” fesoizao (eC) [G 
fxaoixa o (Elte) | w(t, ) dalt) (6-142) 

















离散 时 间 k 
连续 时 间 t 


无 
扩散 过 程 ( 维 纳 过 程 ) 





其 中 看 之 ft 二 ts。 
证 明 : 回忆 一 下 边缘 pdf 可 通过 对 联合 pdf 积分 得 到 ， 即 : 


fxup (z(ts)) =|" fxuo.xa y (z (te), (tz) dr (te ) 
=|" fxaplxao (Us) | z(t)) fxao (Elt) dx (te) (6-143) 
其 中 第 二 行 用 条 件 概率 替换 。 如 果 以 X(t ) 为 条 件 得 到 : 
fxupixa p (z (ts) | e(t,)) =|" F 6091x029. XUq) (e (ts) | x(t, ),r(tz)) 


fxapixap CEC) | x(t, ))da(t,) (6-144) 
由 于 X(i) 是 一 个 马尔 可 夫 过 程 ， 我 们 得 到 : 
f xu,y XC,» XG.) Calta) | x(t) ,x(t2)) = fxupixu, (2 C3) |x(tz)) (6-145) 


证 明 完 毕 。 
定理 6-11 如 果 X(i) 是 一 个 独立 增 量 随机 过 程 ， 则 其 也 是 一 个 马尔 可 夫 过 程 。 
证 明 : 考虑 XX(1) 在 三 个 时 刻 5 <t, <t, 的 条 件 pdf fre.) xe, .xu,) (ets) |z (h), 
ZB) 对 于 增 量 X(t3) RS 我 们 可 以 得 到 : 
fx xc) x (z (ts) | x(t, ) ,z(ts)) = f xep XU Xt) CEC) 
— Tht) | 元 (页 ) »x(t2)) (6-146) 
等 式 右边 可 用 第 4 章 中 线性 变换 X(1;) 一 X(t;) 一 X(ts) 的 变换 方法 得 到 。 很 容易 得 到 
上 面 的 关系 ， 因 为 以 六 (zs) 为 条 件 则 意味 着 从 X(ts) 中 减 去 一 个 常数 。 同 样 地 ， 由 于 条 件 
中 还 包括 X(t )， 另 一 个 线性 变换 X(t,) 一 X(ts) 一 X(ti)， 则 得 到 ， 
fxap-xupix xa (Elta) — x (ta) | x(t) ,z(ts)) 
= f xaX, IX-X) X) (T(ta) — z(t,) | z(te) — alt) git) (6-147) 
由 于 条 件 的 作用 ， 初 始 条 件 的 pdf 形式 没有 改变 ， 只 是 发 生 了 转换 。 因 为 X(b) 是 一 个 独 
立 增 量 过 程 ，X(a ) 一 Xe) 和 Xa) Xa ) 是 独立 的 ， 因 此 X(t;) 一 X(z) 可 从 条 件 中 去 掉 : 
fxuo-xuolxuo-xao,xeo CE) —z(t ) |z(t) — xlt) xt)) 
= xc 一 Ko y (Tt) — altz) |zGt)) (6-148) 
最 后 ， 由 于 X(ts) 是 条 件 变量 ，X(zts) 一 X(ts) 可 用 X(t;) 代 蔡 ， 则 得 到 另 一 个 变换 ， 因 此 : 
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Fxap-xapixa (Es) — altz) | z(t,)) = fx yx (Cy) | (tz) (6-149) 
证 明 完 毕 。 


6.11 随机 序列 


我 们 已 经 描述 了 随机 过 程 的 一 些 基本 性 质 ， 并 且 对 具有 特殊 分 布 和 特性 的 重要 的 随机 
过 程 进行 了 分 析 。 这 节 将 分 析 离 散 时间 随 机 序列 ，6. 12 节 将 关注 连续 时 间 随 机 过 程 。 
6.11.1 伯 努 利 序列 
我 们 首先 给 出 伯 努 利 随 机 序列 的 正式 定义 ， 在 例 6-6 中 我 们 将 其 作为 重复 投掷 硬币 的 
模型 aa 
定义 ( 伯 努 利 序 列 )” 伯 努 利 序列 X[k 是 输出 为 {0,1} 的 iid 随机 变量 {X[0]，X[1]，…:} 
wee, HP P(X[k]=1) 三 py PL[LX[k]=0)=g 会 1 一 pp。 
这 个 序列 严格 平稳 。 每 个 随机 变量 都 可 以 被 看 做 是 具有 两 个 输出 的 一 次 试验 。 输 出 1 指 
一 次 成 功 ， 而 0 则 意味 着 一 次 失败 。 伯 努 利 序列 的 期 望 为 ELXLA]]=z， 二 阶 矩 为 
ELX*[k]] 二 p。 方 差 为 varLXLk]] 二 p 一 所 二 pg。 当然， 对 伯 努 利 随 机 变量 也 会 得 到 同样 的 
结果 ， 因 为 根据 上 面 的 定义 pdf 不 会 随时 间 的 改变 而 改变 。 
我 们 还 可 以 回顾 一 下 第 3 章 中 讨论 的 用 随机 变量 来 建 模 的 一 些 相 关 事 件 。 设 Ni 为 在 
N 次 试验 中 成功 的 次 数 。 则 Ni 为 二 项 随机 变量 ,其 pmf X: 
P(N, =n) = [Ta ln] (6-150) 
设 N, 为 成 功 r(rEZ+) 次 所 需 的 试验 次 数 。 则 N: 为 负 二 项 随机 变量 ， 其 pmf X: 
P(N; = a) = pare zate [n] (6-151) 


4 r=1 时 得 到 N, 的 特例 ， 从 而 得 到 定义 域 为 2+ 的 几何 随机 变量 。 
如 果 输 出 变 为 {一 1,1}, M X[kj 是 一 个 对 称 的 伯 努 利 序 列 。 当 p=q=1/2 时， 图 6-13 
显示 了 这 个 序列 的 一 个 现实 。 


0.5 


x[k] 
° 


-0.5 
-1 


0 20 名 ® 80 100 
图 6-13 p=0. 5 时 对 称 伯 努 利 随机 序列 的 现实 z[k]( 竖 线 会 使 看 起 来 容易 些 ) 


6.11.2 {ABAD 


伯 努 利 方案 即 在 每 个 时 刻 都 有 不 止 两 个 输出 的 伯 努 利 序列 的 一 种 广义 版 本 。 
定义 ( 伯 努 利 方案 )， 伯 努 利 方案 XLR 是 具有 离散 输出 {11,…,N) 的 iid 随机 变量 


{XLO],XL1],…) 的 集合 ， 则 P(X[&k]==n) 会 p,， Vi = 1. 
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伯 努 利 方案 是 严格 平稳 的 ， 因 为 随机 变量 是 iid 的 。 连 续 以 概率 P(X[k] = n) = 
1/6 (2 一 1,…,'6) 掷 筛子 是 一 个 伯 努 利 方案 的 例子 。 对 N 盖 2， 随机 变量 的 pdf 理论 上 并 
不 是 伯 努 利 ， 而 且 它 也 不 一 定 要 如 一 般 掷 筛子 试验 中 满足 均匀 分 布 。 它 被 称 为 伯 努 利 方案 
仅仅 因为 它 是 一 个 伯 努 利 序列 到 多 个 输出 的 自然 扩展 。 图 6-14 中 给 出 了 一 个 具有 四 个 等 
概率 输出 的 伯 努 利 方案 的 一 个 现实 。 在 数字 通信 中 使 用 多 电 平 伯 努 利 方案 做 发 射 模型 的 情 
况 将 在 第 10 章 中 讨论 ， 这 被 称 为 脉冲 幅度 调制 (PAM) 。 对 这 样 的 系统 ， 输 出 可 以 扩展 到 
由 脉冲 形状 所 确定 的 连续 时 间 内 某 个 固定 时 期 ， 这 样 就 得 到 了 一 个 随机 过 程 X(t)。 稍 后 
图 6-29 显 示 的 就 是 一 个 矩形 脉冲 情况 下 的 一 个 现实 。 





图 6-14 均匀 分 布 的 伯 努 利 方案 的 一 个 现实 zLk]， 输 出 为 {1,2,3,4}( 竖 线 会 使 看 起 来 容易 些 ) 


6.11.3 独立 序列 


伯 努 利 序 列 和 伯 努 利 方案 是 iid 随机 序列 的 例子 。 第 3 章 中 涉及 的 任意 随机 变量 基本 
上 都 可 由 时 间 索 引 来 生成 一 个 iid 随机 序列 。 包 括 离散 随机 变量 (例如 几何 和 泊 松 变量 )、 
连续 随机 变量 (例如 高 斯 和 指数 随机 变量 )。 图 6-15 显示 了 参数 4 二 1 的 iid 指数 随机 序列 的 
一 个 现实 ， 在 每 个 离散 时 刻 &， 由 fx (zx) 二 exp( 一 x)u(z) 选 择 一 个 样本 。 





6-15 A=1 的 独立 同 分 布 指数 序列 的 一 个 现实 xL&]( 竖 线 会 使 看 起 来 容易 些 ) 
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如 果 取 消 同 分 布 的 条 件 ， 则 {X[k]} 独 立 , -但 不 必 对 每 个 & 上 有 具有 相同 的 分 布 。 一 个 简 
单 的 例子 是 允许 之 前 的 指数 序列 的 参数 变化 。 例 如 ， 对 于 ke Z+. BE A[k]=2+4/(k+ 
1) 。 每 个 随机 变量 仍 为 指数 ， 但 参数 从 最 大 的 6 变化 到 最 小 的 2。 在 第 7 章 ， 我 们 定义 了 
当 &->ce 时 序列 的 不 同 收敛 类 型 。 这 个 简单 的 例子 是 一 个 随机 序列 ， 该 序列 依 分 布 收 黎 于 
参数 A=2 的 指数 随机 变量 , 
一 个 独立 的 随机 序列 ， 也 许 是 序列 的 最 基本 类 型 ， 可 以 由 它 产 生 许 多 其 他 类 型 的 随机 
序列 。 例如 ， ea ees en ee 
器 ， Ji + 113 31 0938 A 产生 一 Rm WA pot 
独立 的 输出 序列 。 如 图 6-16 所 示 的 这 种 类 
型 的 模型 ， 被 广泛 用 于 描述 随机 序列 ， 将 图 6-16 滤波 器 作用 于 一 个 ñd 序列 
在 第 8 章 中 讨论 。 该 滤波 器 可 以 是 线性 的 或 非 线性 的 ， 也 可 以 是 时 变 或 时 不 变 的 。 图 6-1 
和 引言 中 描述 的 现实 是 由 一 个 线性 时 不 变 滤 波 器 处 理 独 立 的 高 斯 序列 生成 的 。 在 第 7 章 
中 ， 我 们 描述 了 为 线性 系统 建 模 的 常 系数 微分 方程 。 这 样 的 系统 可 以 通过 一 个 冲 激 响 应 郴 
数 来 表示 ， 在 频 域 则 可 以 用 传递 函数 描述 。 
6.11.4 (BRAMEN ASE 
我 们 再 回 到 伯 努 利 序列 ， 描 述 一 个 既 不 独立 也 不 满足 同 分 布 的 “随机 游 走 ”。 
定义 ( 伯 努 利 随 机 游 走 ) 设 到 [kj 是 一 个 输出 为 {一 1,1) 的 对 称 伯 努 利 序列 ， 满 足 
P(W[k]=1)=p=P(W[k]=—1)=q=1/2, MI: 


X[k] = E Wim] i (6-152) 


其 中 X[0]=W[0]=0 是 一 个 伯 努 利 随机 游 走 。 
显然 ， 和 序列 XLAJ 不 是 伯 努 利 : 随 着 & 的 增长 ， 它 可 以 是 任何 整数 Z。 伯 努 利 随 机 
游 走 的 名 字 来 源 于 式 (6-152) 中 构成 和 的 基本 随机 变量 的 pdf。 它 之 所 以 被 称 为 随机 游 走 是 
因为 序列 随机 地 在 正 或 负 的 方向 前 进一步 。 注意， 式 (6-152) 可 以 被 写 做 : 
X[k] = X[k—1]-+ W[k] (6-153) 
它 具 有 无 限 长 冲 激 响应 (IIR) 滤 波 器 的 形式 ， 只 有 一 个 唯一 的 极点 一 1。 冲 激 响应 可 由 离 
散 单位 阶 跃 函数 给 定 : 






ale ee 4 a (6-154) 


伯 努 利 随机 游 走 也 可 以 被 看 做 一 个 离散 时 间 滤 波 器 的 输出 ， 输 入 是 具有 随机 振幅 {一 1， 
1) 的 克 罗 内 克 ó 函数 的 独立 序列 ( 即 一 个 对 称 的 伯 努 利 序列 ) 。 图 6-17 给 出 了 一 个 现实 的 例 
子 。 基 本 的 伯 努 利 序列 的 一 阶 和 二 阶 矩 为 ELWLA =0 和 EL [k ]]=1. Ae XL&j] 随 时 间 逐 
步 形 成 以 0 为 中 心 的 值 ， 因 为 ELW[Lkj]] 二 0。 但 是 其 具有 线性 增长 的 方差 : 
vari XAI = €(X*(k]] = >) s[W°[m.]] = (6-155) 
我 们 还 观察 到 : 
X[k+N]— X[k] = ky. W[m] (6-156) 


与 X[k] 独立 。 对 于 XA MERA RBH a, 独立 性 都 会 保持 。 因此 ， 伯 努 利 随 机 游 
EE isi 序列 的 一 个 例子 。 但 是 X[k] 本 身 却 不 平稳 ， 因 为 它 的 方差 随时 间 而 改变 。 

尽管 伯 努 利 随 机 游 走 在 理论 上 定义 p=q=1/2, 但 它 可 以 推广 为 pAg. XX EE O, 
游 走 不 再 以 0 为 中 心 ， 而 且 均 值 也 是 时 变 的 : 


e[X[k]] = 5 £[W[m]] = (p—@k (6-157) 
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x[k] 


20 40 60 80 100 
k 


图 6-17 p=0. 5 的 一 个 伯 努 利 随 机 游 走 的 现实 示例 


它 或 者 增长 (如 >q) 或 者 衰减 (pp<g) ， 因 为 当 输 出 为 {一 1,1) BF£[W[ ]]=p—q, ZWEK: 
g[X°[k]] = k ELW’ Lk]] + (° — b)(€[W[k]])°2 = k + (p—q)* 0K —k) (6-158) 
由 于 1 一 (p 一 gq)?* = 二 4pq， 方差 为 一 个 上 的 递增 函数 : 
var[ X(k)] = 4pqk (6-159) 
自 相关 也 数 和 自 协 方差 函数 在 例 6-13 中 推导 。 
6. 11.5 二 项 式 计数 序列 
再 次 考虑 输出 为 {0,1) 的 伯 努 利 随 机 序列 。 
定义 (二 项 式 计数 序列 ) #W[k]23 — 46 # #| Ñ pu 2]. P(W[k]J=1)= p, 
P(W[#]=0)=q, MAFF 


x [2 ]= ywrm (6-160) 


其 中 X[0]=W[0]=0, 为 一 个 二 项 式 计 数 序列 。 
与 之 前 的 随机 游 走 不 同 ， 二 项 式 计数 序列 不 会 衰减 。 这 当然 是 因为 输出 中 0 代替 了 一 1。 
由 (6-160) 式 中 的 求 和 以 及 定理 6-3， 我 们 发 现 二 项 式 计 数 序列 是 另 一 个 isi 序列 的 例子 。 


P(X[k] = m) = ("ota Too Ln] (6-161) 


二 项 式 计 数 序列 也 可 以 由 式 6-153 中 的 HR 滤波 器 的 输出 来 表示 ， 滤 波 器 冲 激 响应 由 离 
散 单位 阶 跃 函数 给 定 。 这 里 的 主要 不 同 在 于 ,输入 序列 的 克 罗 内 克 6 函数 不 均匀 的 时 间 间 
隔 ， 因 为 伯 努 利 的 输出 是 10,1)。 因此， 某 个 现实 的 振幅 会 因为 二 串 伯 努 利 零 的 出 现 而 在 几 个 
时 间 间 隔 保持 常数 。 稍 后 讨论 的 泊 松 计数 过 程 ， 也 会 出 现 相 似 的 情况 ， 这 与 连续 时 间 二 项 式 
计数 过 程 对 应 。 表 6-3 中 给 出 了 基于 伯 努 利 序列 的 两 个 随机 游 走 和 计数 序列 的 总 结 。 


表 6-3 基于 伯 努 利 序列 WLk] 的 随机 序列 









随机 序列 X[k]= >) WLm] W[Lm] 的 输出 参数 
m=1 





伯 努 利 随 机 游 走 
广义 伯 努 利 随机 游 走 
二 项 式 计数 序列 


{— 153} 
{=I 1} 
{0,1} 


p=1/2 
0<p<l 





0<p<l 
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接 下 来 ， 我 们 研究 二 项 式 计数 序列 中 连续 的 伯 努 利 1 到 达 的 间隔 时 间 。 由 于 计数 过 程 
是 isi， 可 对 T 中 的 任意 间隔 进行 检查 。 为 方便 起 见 ， 检 查 第 一 个 1 的 出 现 , 我 们 用 随机 变 
量 Y 表示 。 做 这 样 的 选择 是 因为 事件 {也} 等 价 于 事件 {X() 二 0)。 对 于 1 的 第 一 次 出 现 
是 时 刻 & 之 后 的 情况 ， 我 们 可 以 写作 : 


P(Y > k) = P(X[k] = 0) = (ia ee (6-162) 
其 中 用 到 了 式 (6-161) 。 则 有 : 


P(Y < k) = A—) Iv [k] (6-163) 
这 对 应 于 定义 域 为 N 的 儿 何 随机 变量 的 cdf， 且 具有 以 下 的 pmf: 
pyLk] = p(1— go)" IvLk] (6-164) 


(注意 到 这 是 附录 A 中 的 位 移 几 何 分 布 )。 
二 项 式 计 数 序列 的 均值 为 ELXLA]] 王 加， 二 阶 矩 为 : 
g[X°[k]] =k £g[W:[k]]+ (° — k)(€g[W[E]])2 


= pk + p(k? —k) (6-165) 
方差 为 var(X[k]) 二 pk 一 p*k 王 pqk。 图 6-18 给 出 了 一 个 现实 的 例子 。 它 的 自 相关 函数 为 : 
ky k, 
Rxx [hi sk] = £| X Wim] X WEn]] (6-166) 
*' m=1 a=] 
45 
40 
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图 6-18 p=0.5, 输出 为 {0,1) 的 二 项 式 计 数 序列 的 现实 示例 


为 了 继续 往 下 讨论 ， 假 设 忆 > 之 司 ;， 相反 的 情况 可 由 对 称 性 导出 。 由 于 { 克 [LA]} 是 独立 
的 ， 每 个 交叉 项 的 期 望 值 是 各 期 望 值 的 乘积 : 


ki 


Rex [Cki ske] = 2; (ELW’ [m]] + S EWEIN ELWIN) 


n=l,n=m 


-Dptp (ks —1)] = pki [1+ ple: = 1)] (6-167) 
自 协 方差 函数 可 由 自 相关 函数 减 去 ELX[A JJELX[k:]]= p’kık: 得 到 : 
Cxx [hi sk] = pki ll + p(k: — 1)] — 2 bi k, = pak, (6-168) 
这 样 ， 对 一 般 的 {kiska} 有 
Rxx [hi , b, ] =pamin(k, ,ks) + phi ke (6-169) 
Cxx [bi , b, ] =pgmin(h, ,k,) (6-170) 


从 上 式 中 我 们 看 到 X[kj] 不 是 广义 平稳 的 。 因 为 k 时 刻 的 方差 为 var X[ k ]]= pak, MHA 
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数 为 : 
= pqmin(k; ,k2) _ mink; ,k2) 
V (pqk1) Cpak:) Vhk; 
# 6-4 中 总 结 了 以 上 特性 ， 还 包括 伯 努 利 游 走 以 及 .6. 12 节 讨 论 的 随机 过 程 的 一 
果 。 有 趣 的 是 一 些 大 家 熟知 的 随机 过 程 的 相关 系数 具有 相同 的 形式 ， 而 且 独 立 于 其 参数 。 


' 表 6-4 随机 过 程 的 相关 和 协 方差 


自 相关 函数 自 协 方差 函数 





(6-171) 































伯 努 利 游 走 4pqmin(ki, bo) +(p—q)*kike | 4pq minlki, k2) min(ki s kz)/ VRik2 
二 项 式 计 数 pq min(k1, k) p2 bib; pq min(bi, kz) min(ki, ks)/ J/kiko 
泊 松 计数 A min(t, t)+22 tite Amin(t)+ t2) min(t), 12)/ Vote 
“ 半 随 机 ?电报 | exp( 一 24 |tz 一 4 |) exp(—2a |t2—t |)—exp(—2A(t1+t2)) | see(6-206) 

“随机 ”电报 exp( —2À |ts—a | ) exp( —2À |t2—a | ) exp(—2A FE | ) 





维 纳 


aszmin(ti，z12) 





ae’ min(t1, t2) 


min( fi» t2)/ Site 





6.12 ”随机 过 程 


接 下 来 ,我 们 考虑 一 些 随 着 时 间 不 断 发 展 的 随机 过 程 。 对 于 随机 序列 ， 由 时 间 索 引 的 
随机 变量 可 以 具有 离散 的 或 连续 的 输出 。 我 们 先 从 具有 泊 松 分 布 的 独立 随机 变量 序列 开 
始 ， 然 后 允许 时 间 间 距 趋 于 0， 以 产生 一 个 连续 时 间 的 随机 过 程 ， 这 样 可 以 在 任何 时 刻 在 
振幅 上 实现 离散 变化 。( 注 意 ， 各 种 随机 过 程 的 曲线 的 例子 实际 上 是 离散 时 间 的 现实 ， 因 
为 MATLAB 只 能 绘制 过 程 的 有 限 个 输出 。) 

6.12.1 泊 松 计数 过 程 

泊 松 随机 变量 的 输出 是 离散 的 (无 限 可 数 )， 由 所 有 非 负 整数 给 定 。 定 义 时间 间 隔 At 会 
t/k， 其 中 1:€T 二 RR+ 为 连续 时 间 ，kEN。 考 虑 随机 过 程 ， 其 定义 如 下 : 

X(t) 2 X[EAt] (6-172) 
其 中 X[k](At 二 1) 为 式 (6-160) 中 二 项 式 计数 序列 。 如 果 等 号 右边 的 变量 扩展 ， 伯 努 利 成 
功 就 可 在 任意 期 间 间隔 发 生 ( 而 不 仅仅 是 At= 二 1)。 我 们 假设 以 下 条 件 ， 当 Ato BF, XO) 
是 泊 松 计数 过 程 (对 所 有 (€T): 

e X[kAt] 为 一 个 二 项 随机 变量 ， 其 成 功 概率 p 与 时 间 间 隔 成 正比 : 

p = P(X[kAzZ] = 1) = AAt (6-173) 
其 中 4 为 比例 参数 。 
e 间隔 A 足够 小 ， 因 此 在 任意 间距 内 最 多 有 一 次 伯 努 利 成 功 。 在 任意 间距 有 两 次 或 


更 多 成 功 的 概率 假设 为 0。 
对 二 项 式 计数 过 程 和 以 上 的 条 件 ，n 次 成 功 的 概率 为 : 
Pia dy = ("Jaana SO say Se 0, k (6-174) 


第 4 章 中 提 到 过 这 种 二 项 式 分 布 ， 它 可 用 泊 松 分 布 来 近似 。 特 别 是 ， 如 果 A-~~co， 

则 间隔 At 一 0， 因 此 po, WE ARRI kp 二 A 二 名 为 常数 ， 则 式 (6-174) 可 做 如 下 
近似 : 

PIXON = ny =s ar P expat) sn € Zt (6-175) 


上 式 服从 泊 松 分 布 ， 时 间 依 赖 参数 为 a= At, 
定义 ( 泊 松 计数 过 程 ) 泊 松 计数 过 程 X(1) 是 一 个 离散 输出 ， 连续 时 间 随机 过 程 具有 
X(0) 二 0， 因 此 在 t 时刻 输 出 的 概率 由 式 (6-175) 中 参数 为 a 二 At 的 泊 松 分 布 给 出 。 
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与 二 项 式 计数 序列 类 似 ， 这 个 泊 松 过 程 的 现实 只 有 正 的 单位 振幅 的 步 进 。 但 是 ， 不同 
于 二 项 式 计 数 序列 的 是 ， 二 项 式 计 数 序列 的 输出 只 在 离散 的 时 间 点 上 发 生 ， 而 泊 松 计数 过 
程 的 振幅 可 在 任意 时 间 :ET 改变 。 图 6-19 中 给 出 了 它 的 一 个 现实 示例 。 此 泊 松 过 程 的 均 
值 和 方差 可 以 很 容易 地 由 (6-175) 得 到 : £[XG)]J= var[ X(t) ]= 24, H T X E 8 #8 Hh |] 
相关 ， 所 以 过 程 非 平稳 。 


8 泊 松 计数 过 程 的 一 个 现实 


14 


0 5 10 15 20 
t 
图 6-19 比例 参数 为 A= 1 的 泊 松 计数 过 程 的 现实 示例 


Ia) 泊 松 过 程 X() 是 许多 物理 过 程 的 一 个 精确 模型 ， 比 如 放射 衰减 以 及 电话 线 故 
障 问 题 。 假 设 客户 以 每 小 时 4 二 5 的 速率 进入 一 个 商场 ， 则 各 种 概率 很 容易 确定 ， 比 如 : 
(a) 在 三 小 时 内 来 8 个 顾客 的 概率 ; (b) 在 前 一 个 小 时 没有 顾客 到 达 的 条 件 下 ，3 个 顾客 在 一 
个 小 时 内 到 达 的 概率 ; (c) 一 个 小 时 内 有 1 个 顾客 到 达 ， 接 下 来 一 个 小 时 2 个 顾客 到 达 的 概 
率 。 相 应 的 概率 描述 是 : (a) PCX(3)=8); (b) P(X(2)—X(1) =3| XC) — X(0) =0); 
(OP(X(1) 二 1，X(2) 二 3)。 它 们 都 对 应 于 初始 条 件 X(0) 二 0。(a) 可 以 直接 得 出 : i 





- 8 
P(X(8) = 8) = Sf ve sn X 3) ~ 0.0194 (6-176) 
P(X(2)— X(1) = 3) = GAD case boii 0056 (6-177) 


(c) 可 通过 将 表达 式 写 为 独立 增 量 的 形式 来 处 理 : 
P(X(1)=1; X(2)=3)=P(X(1)=1, X(2)—X(1)=2) = P(X) =1) P(X(2)— 
X(1)=2), Bik: 


PREC). = Ta RAD =u ay = EXD exp 5x1) SRM exp 5 X 1) == 0. 0028 


(6-178) 

泊 松 过 程 是 莱 维 随机 过 程 的 一 种 特殊 类 型 。 < 

定义 ( 莱 维 随机 过 程 ) 莱 维 随机 过 程 X(t) 是 具有 以 下 特性 的 任意 连续 时 间 随 机 过 程 ; 

(j isis (i ) 零 初始 输出 XOSLAR ARA); 〈 放 ) 右 连续 (几乎 必然 )， 并 具有 在 
极限 。 

回忆 右 连 续 函 数 a), 满足 对 E 和 LET， Alimx(e+§) =2x(t). 如 果 limz(t 一 名 存 


在 ， 则 在 上 时 刻 ， 它 有 左 极限 。 离 散 随机 变量 的 cdf 是 一 个 具有 左 极限 的 右 连续 函数 的 一 
AF 
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其 他 菜 维 随机 过 程 的 例子 还 有 伽 马 和 维 纳 过 程 ， 将 在 稍 后 讨论 。 由 于 泊 松 过 程 是 isi, 
在 非 重 树 间 隔 上 发 生 的 事件 是 独立 的 ， 它 们 的 分 布 仅 依赖 于 间隔 的 持续 时 间 ， 而 不 依赖 于 
它们 在 7 的 位 置 。 这 意味 着 对 于 持续 时 间 oO. A 


i dO Ey = Ae)" exp(—2r) (6-179) 


式 (6-175) 是 式 (6-179) 在 间隔 [0,t] 中 的 一 个 特例 ， 设 1 一 t=0， 则 =t, XG—+z)—X(0)=0, 

我 们 还 可 以 确定 泊 松 随机 过 程 两 次 事件 发 生 的 间隔 时 间 的 分 布 。 因 为 泊 松 过 程 是 一 个 
isi 过 程 ，T 中 的 任意 间隔 都 可 被 检测 ， 例 如 第 一 个 事件 发 生 的 时 间 ， 用 随机 变量 Y 表示 
“与 之 前 在 二 项 式 计数 过 程 中 类 似 )。 如 果 第 一 个 事件 发 生 的 时 间 之 上 +， 则 [0,0] 间 不 会 再 有 
事件 发 生 ( 反 之 亦 然 ) : 





P(Y > t) = P(X(t)-= 0) = exp(— 4t) (6-180) 
其 中 t 宇 90。 由 这 个 结果 可 得 了 的 cdf 为 Fr) =P(Y<t)=1—P(Y2>:)=[1—exp(—4:)] 
Io. (t)， 这 就 是 参数 为 4 的 指数 随机 变量 的 cdf, At, Y 的 pdf J: 
fete) = ep (= NT (0) (6-181) 
均值 E[Y]= 二 1/4， 方 差 var[Y] 二 1/X*。 注 意 到 图 6-19 中 曲线 是 由 间隔 时 间 满 足 指数 分 布 的 
样本 产生 的 ; 这样 就 可 以 产生 现实 变化 ( 跳 变 ) 处 1 的 值 。 
这 个 结果 可 扩展 到 第 n 次 事件 发 生前 的 时 间 的 分 布 ， 它 由 随机 变量 Y, 定义 。 由 于 事 
件 发 生 的 间隔 是 独立 的 ， 可 以 很 方便 的 将 Y, 写成 间隔 的 和 ， 如 下 所 示 : 


Y, = 2 Y-Y) (6-182) 


因为 Y, 是 独立 的 指数 随机 变量 的 和 ， 我 们 可 由 第 4 章 的 例 4-17 推论 得 到 Y, 是 一 个 埃 尔 
朗 ( 伽 马 ) 随 机 变量 ， 参 数 为 11，r 一 妖 : 


ry ae 
fx, G = GT 


均值 E[Y, ] 二 n/A4， 方 差 var[Y, ] 二 n/X*。 如 我 们 预料 的 ， 均 值 和 方差 随 着 事件 发 生 的 数目 
nn 增长。 
接 下 来 ， 我 们 分 析 在 [0,t] 内 等 间隔 单 次 到 达 的 条 件 下 ， 首 次 到 达 时 间 Y 的 分 布 。 由 
于 X(t) 是 记录 (0,0) 间 到 达 数 目的 泊 松 随机 变量 ， 由 条 件 概 率 可 得 : 
P(Y < y|XG) = 1) =P(Y < y, X@ = 1)/P(X() = 1) 
=P(X(y) = 1,X(t) = 1)/P(X@) = 1) (6-184) 
其 中 用 到 了 Y 委 > 一 XCy) 王 1。 由 于 : 
P(X(y) = 1,XQ@) = 1) = P(X(y) = 1,X(t)— Xy) = 0) (6-185) 
并 且 泊 松 过 程 具有 独立 增 量 ， 式 (6-184) 变 为 : 
PCY < y|X(t) = 1) =P(X(y) = 1) PC X(t) — X(y) = 00/P(X() = 1) 
B E a =4y/t) Ioa (y) (6-186) 
其 中 用 指示 函数 来 强调 y € [0,t]。 这 个 结果 是 一 个 均匀 分 布 随机 变量 的 cdf。 它 说 明 在 
[O,.z] MA X(7)==n 个 到 达 的 条 件 下 ， 到 达 次 数 的 条 件 分 布 是 在 [0,t] 上 均匀 分 布 的 随 
机 变量 的 nn 个 iid 样本 的 顺序 统计 量 的 分 布 ( 参 见习 题 6-37) 。 
可 以 看 出 泊 松 计数 过 程 可 以 建 模 为 滤波 后 狄 拉克 ó 函数 链 。 该 滤波 器 的 冲 激 响 应 是 连 
续 单 位 阶 跃 函数 u(t)， 冲 激 之 间 的 间隔 具有 指数 分 布 。 由 单位 阶 跃 防 数 滤波 的 信号 等 价 于 
一 个 积分 器 ， 它 是 之 前 讨论 的 伯 努 利 游 走 和 二 项 式 计 数 过 程 的 求 和 滤波 器 的 连续 时 间 版 
本 。 这 并 不 奇怪 ， 因 为 在 引出 泊 松 计数 过 程 时 ， 我 们 从 二 项 式 计 数 过 程 开 始 ， 让 时 间 间 隔 
At~~0。 二 项 式 计 数 过 程 的 滤波 器 的 输入 包括 克 罗 内 克 ó 函数 ， 此 函数 相 邻 时 间 间 隔 具 有 
几何 分 布 ( 见 式 (6-164))。 实 际 上 ， 该 滤波 器 模型 的 离散 的 单位 阶 跃 函数 在 Az— 0 时 被 泊 


exp(— At) Ito; (t) (6-183) 
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松 计数 过 程 的 连续 单位 阶 跃 函 数 所 取代 。 狄 拉克 6 函数 之 间 的 非 均匀 间距 的 原因 来 自 二 项 
式 计数 过 程 的 零 字 符 串 ， 二 项 式 计数 过 程 也 是 由 此 导出 。 

为 了 计算 XC 的 自 相关 函数 ， 需 要 泊 松 过 程 在 两 个 时 刻 {ti ，ts} 的 联合 概率 分 布 。 这 
可 以 通过 运用 如 下 > 时 的 条 件 概 率 得 到 : 

PXG) = mX) =m) (XE) = m | X(t.) = m)PCX(,) =m) (6-187) 

EP m>n, FIR CIC Z EELS 3 章 )， 条 件 概 率 呈 参数 为 {X(t 一 1 )， r= 
nz 一 m4) 的 埃 尔 朗 分 布 。 假 定 n MEEKI ny， 分 布 仅 由 时 间 间 隔 G to] 内 额外 发 生 的 n, 一 
n 的 数目 决定 。 因 此 : 





PEX) =m Xu = m) = AG SET apC -aD QLU exp(— n) 
2 1 
_ [az, = t, yfe (At, "1 exp(— Xt; ) (6-188) 


(m; = m In 1 


WEH BORLA to 的 函数 ,将 其 简化 为 : 
P(X(t,) = nh 9X (t; ) =n) = Latte —t,) JU (At1)™ fe )exp(—ate) (6-189) 
nz! nı 


对 于 ns 之 m 以 及 性 盖 右 ， 自 相关 函数 的 期 望 是 一 个 二 重 求 和 ， 因 为 式 (6-189) 是 一 
离散 的 联合 sachin Ws 


Roe ey Z E Dah ue kl RES E 
ny 


1 = On, =0 nz ! 


o no 7 
“= aTe At) t)" um (P) a/e" E — tı /ta]"™ (6-190) 


由 于 第 二 个 求 和 给 出 了 一 一 个 参数 为 { ee Aa, } 的 二 项 式 分 布 的 均值 Np， 我 
们 得 到 : 
x 


Ryx (t ote) = D T TEPA) te) anih [ted = (J) Dm H: exp( 一 jz) 


n = 0 ft 


(6-191) 
它 是 参数 为 一) 的 泊 松 分 布 的 二 阶 矩 wCI 十 c) ， 则 : 
Ryx Cti + ts) = (ti /te Ate (1 + Ato) = At; (1 +At2) (6-192) 
其 中 >te F, HTE, b) 
Rxx (tr tz = Amin(t, sta) FA tits (6-193) 
它 不 依赖 于 时 间 间 隔 r==t; 一 t1， 因 此 X(b) 不 是 广义 平稳 的 。 图 6-20a 为 Rxx (ti ote) 的 曲 
线 ， 原 点 处 有 个 马鞍 状 的 点 。 由 于 ELX(C]=Mz， 则 自 协 方差 函数 为 ; ; 
Cxx (ty ts) = Rxx (i ote) 一 ELXG)] €[ X(t,)] = Amin(t; »t2) (6-194) 


K 6-4 也 总 结 了 泊 松 过 程 的 这 些 结果 。 表 6-4 中 我 们 还 发 现 相 关系 数 与 二 项 式 过 程 的 相 
关系 数 具 有 相似 的 形式 (除了 它 是 对 连续 时 间 定 义 的 ) 。 图 6-20b 中 画 出 了 相关 系数 的 示意 图 。 

A 为 常数 的 这 类 泊 松 过 程 被 称 为 齐 次 的 (或 一 致 的) 。 速 率 参数 可 扩展 为 一 个 时 间 函 数 
ACL) ， 对 应 于 事件 的 速率 随时 间 变 化 的 情况 (比如 一 天 的 不 同时 间 )。 这 种 非 齐 次 (或 非 一 
致 ) 泊 松 过 程 的 分 布 为 : 


P(XG5 =e) = 二 (| xcodo) exp(— | a@rde) (6-195) 


X(4) 的 均值 和 方差 又 与 + 相关 : E[X(i)] = var X()] = | codv， 对 齐 次 的 情况 则 为 


Mi。X(I) 的 增 量 是 独立 的 ， 但 对 于 齐 次 过 程 的 情况 是 非 平 稳 的 。 与 式 (6-179) 类 似 ， 我 们 
可 通过 改变 积分 限 将 任意 间隔 r 的 输出 的 概率 写 为 : 


252 


第 二 部 分 ”随机 过 程 、 系 统 与 参数 估计 


i Z MTT 
f) WM) 
LTT 


SS 
WM Hi NE WO 


ul Wd š SN SS 





0 





b 





a) 
图 6-20 A=1 的 泊 松 计数 过 程 的 相关 性 。a) 泊 松 计数 过 程 的 自 相 关 函 数 Rxx (t) ;，b) 泊 松 计数 过 程 
的 相关 系数 a。 这 也 是 维 纳 过 程 、 伯 努 利 游 走 和 二 项 式 计数 过 程 (但 是 对 于 (4 ,ts。) 内 的 整数 值 ) 

的 相关 系数 的 示意 图 





PAX — XG O: =a) = L (| icodo) exp (— | A(v)dv) — (6-196) 


nt, t.) 


1 "多 


ik ahaa Av) du {RF min(ti ,t;) 


me 
， 我 们 将 泊 松 计 Pe Vee 马 分 布 来 描述 到 达 时 间 ( 而 不 是 指数 分 布 ) : 


fy(y) = A. exp(— Ay ina C9) (6-197) 





ae 
参数 为 {A,r > 0}. 

定义 ( 伽 马 随机 过 程 ) ” 伽 马 随机 过 程 是 一 个 具有 售 马 到 达 时 距 的 莱 维 随机 过 程 。 

图 6-21 给 出 了 现实 的 示例 ， 从 中 我 们 可 以 看 到 计数 速率 随 着 7 的 增 大 而 减 小 ， 因 为 伽 
马 分 布 的 均值 随 着 7 增 大 而 增 大 。 图 6-19 中 的 泊 松 现实 处 于 显示 的 两 种 情况 之 间 ， 因 为 指 
数 到 达 间 隔 分 布 对 应 于 r= 二 1。 


x(t) 
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图 6-21 对 应 不 同 的 7 值 ， 速 率 参 数 4==1 的 伽 马 过 程 的 现实 示例 


6.12.2 ”随机 电报 信号 
定义 (随机 电报 信号 ) ”随机 电报 信和 号 可 由 如 下 的 泊 松 计数 过 程 X(t) 得 到 : 
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1% X(t) 是 偶数 
一 1， X@) 是 奇数 
TARA YA)=(—-1)*, HP XOOPHRWA(6-17 Me, AT=LO, tlk. 
不 同 于 记录 步 进 的 数目 ，Y(t) 仅 标示 了 计数 值 是 奇数 或 偶数 。 由 于 X(0) 二 0， 则 随机 
电报 信和 号 的 初始 条 件 为 Y(0) 二 1。Y() 是 一 个 连续 时 间 过 程 ， 一直 保 持 当 前 值 (1 或 一 1) 直 
到 泊 松 过 程 X(t) 发 生变 化 。 
尽管 会 出 现 输出 是 等 可 能 的 情况 ， 但 实际 上 只 有 当 上 ~c=e 时 才 为 真 。 对 于 有 限 :， 泊 松 
过 程 X(C) 为 偶数 次 步 进 的 概率 为 : 


PCX(t) 是 偶数 ) = >) exp(—ar)(at)"/m! (6-199) 


m=0,. 1% & 


其 中 用 到 了 式 (6-175) 中 计数 的 泊 松 分 布 公式 。 提 出 exp( 一 Xt) 因 子 ， 我 们 看 到 无 限 级 数 是 
双 曲 余弦 函数 ( 见 附录 E): 


Y(t), = (6-198) 


P(X(z) 是 偶数 ) = exp(—At)cosh(t) (6-200) 
对 XX(?) 为 奇数 情况 有 : 
P(X(t) 是 奇数 ) = exp(— ìt )sinh (àt) (6-201) 
综合 以 上 结果 得 到 Y(#) 的 pdf: 
fyw (y) = exp(— at) Lcosh(at) Cy — 1) + sinhQt) dy + 1) ] (6-202) 
其 中 6(y) 为 狄 拉克 6 函数。 注意 到 fyo (Cy) 是 一 个 有 效 的 pdf: 
f Fre (y)dy = exp(—at)[cosh(At) + sinh(az) | = 1 (6-203) 


图 6-22 FE A=1 的 曲线 图 ， 从 图 中 可 以 看 出 随 着 上 的 增 大 ， 式 (6-202) 中 用 来 对 Cy — 1) 
和 8#(Cy 十 1) 加 权 的 分 量 分 别 衰减 ， 但 在 任意 时 间 2, 它们 的 和 一 直 为 1。 只 有 在 tok, 
它们 相等 (都 为 1/2)。 实 际 情况 是 ，3 到 4 个 时 间 常 数 后 它们 就 几乎 相等 了 ， 其 中 指数 函 
数 的 时 间 常 数 为 c= 1/0. 
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图 6-22 A=1 时 的 随机 电报 信号 的 pdf 分 量 


从 滤波 的 角度 看 ， 一 个 时 不 变 滤 波 器 作用 于 一 个 狄 拉 克 ó 函数 链 是 不 可 能 产生 随机 电 
报信 号 的 。 回 想 一 下 ， 对 于 泊 松 计数 过 程 这 是 可 能 的 ， 其 中 所 述 滤波 器 具有 由 单位 阶 跃 函 
数 给 定 的 冲 激 响应 。 此 处 的 滤波 器 是 矩形 的 ， 时 变 期 间 由 ó 函数 的 间隔 来 确定 。 

随机 电报 过 程 的 均值 为 : 

ELY(t) ] = exp(— at) LG 1) cosh(at) + (— 1)sinh(at) ] = exp(— 2dr) (6-204) 
由 于 二 阶 矩 为 E[Y2: (2) J=1, WHEW varLY(t)]=1—exp(—4at). BART TIL. BEME 
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ico， 随 机 电报 信号 具有 零 均 值 和 单位 方差 ， 与 对 称 的 伯 努 利 序列 相似 。 图 6-23 给 出 的 
是 4 二 1 的 随机 电报 信号 的 现实 示例 。 随 机 化 的 随机 电报 信号 由 ZOD S=WY DAE. HP 
W 是 一 个 具有 等 可 能 输出 { 一 1,1} MAB AMPLE. MAS YC thir. (BERL HAR 
信号 的 初始 版 本 也 被 称 为 “ 半 随 机 信号 ”)。 加 入 这 个 附加 的 随机 性 后 初始 条 件 变 为 Y(0) = 
W， 我 们 不 再 知道 是 过 程 的 1 还 是 一 1 与 跳 变 的 偶数 次 对 应 。 


y(t) 
ae ten. ee ee ea 
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图 6-23 A=1 时 的 随机 电报 信号 的 现实 示例 
可 以 证 明 随 机 电报 信号 的 自 协 方差 函数 为 (见习 题 6-31) 
Czz (ti st) = exp(— 2A |tz —ti|) = Car) (6-205) 
它 是 广义 平稳 的 。Cz (ti ot.) 也 是 相关 系数 gp， 因为 对 于 所 有 的 1:，2Z(t) 的 方差 为 1。 图 6-24 夯 
了 相关 系数 的 示意 图 。Y(0) 二 1 的 “ 半 随 机 ”电报 信号 的 相关 系数 为 ( 见 题 6-32) 
< exp(— 2A |tz — h |) — exp(— 2A (ti + t;)) 
P Vl — exp(— 4at, ) — exp(— 4at,) + exp(— 4A (tı + t;)) 





(6-206) 











图 6-24 “随机 化 ”的 电报 信号 (4 二 1) 的 相关 系数 。“ 半 随机 ”电报 信号 (Y(0) 二 1) 的 相关 系数 与 此 图 相似 ， 
除了 较 小 的 {tista} 


它 已 不 能 简化 了 。 但 注意 到 对 于 大 的 (tote), 两 种 版 本 的 随机 电报 信号 的 相关 系数 近似 相 
同 。 表 6-4 中 总 结 了 两 种 随机 电报 信号 的 相关 结果 。 
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6.12.3 维 纳 过 程 


维 纳 过 程 是 布朗 运动 这 种 物理 现象 的 一 个 模型 。 布 朗 运动 是 由 于 水 分 子 频繁 的 随机 碰 
撞 而 形成 的 颗粒 的 不 规律 运动 。 这 种 模型 可 从 对 称 伯 努 利 序列 WLk] 开 始 推 导 ， 但 对 于 小 
的 e>0 有 输出 {一 e,e}。 假设 颗粒 的 碰撞 是 等 时 间 间 距 以 速率 a 发生， 也 就 是 说 它们 在 1/a 
的 整数 倍 发 生 。 到 时 间 t 时 总 的 磁 撞 次 数 N —=Lat ]， 其 中 Laj 是 保持 最 大 整数 三 a MK 
图 6-25 给 出 了 各 种 量 值 。 定 义 随机 过 程 


latl 
X(t) = XWin] (6-207) 


ES p=1/2 MAS A BHP YER UCR 6-3); 这 里 0 ta Za Lat] t 
的 差别 是 : C | ) 离 散 时 间 间 隔 持续 期 为 1/& 而 不 是 1; 图 6-25 导出 维 纳 过 程 X(D 用 到 的 
(i 振幅 是 士 s 而 不 是 士 1;( 诈 ) 求 和 的 上 限 是 [lat 而 不 离散 时 间 间 隔 
是 k。 因 为 这 个 上 限 ，X(z) 会 一 直 保 持 当 前 值 直 到 1 一 
ti 十 1/c， 此 时 因为 另 一 次 碰撞 使 得 求 和 式 中 包括 一 个 新 项 。 这 是 扩展 对 称 伯 努 利 序列 为 一 
个 连续 时 间 t 的 函数 的 第 一 步 。 就 如 对 泊 松 计数 过 程 一 样 ， 维 纳 过 程 可 通过 令 1/a->0 来 得 
到 ， 最终 得 到 一 个 连续 时 间 过 程 。 而 且 ， 振幅 e 一 0 使 得 在 每 个 时 刻 的 随机 变量 是 连续 的 ， 
且 具 有 明确 的 pdf. HF: 
g[W[m]] = 0, Z[W°[m]] 三 全 Welx@]=0, Z[X/°'(t)] = ë lat] 

假设 当前 时 间 上 与 1/a RUE. fxo (z) 存 在 。 考 虑 下 一 个 时 刻 上 十 1/e 的 pdf, 

应 用 全 概率 公式 得 到 : 
六 (r) = fea | Wher] =e) P(Wim] = ë) 
+ fxe o (z |W[m ] =—=)P(W[m] =— e) (6-208) 

其 中 假设 m=lat J 正好 对 应 t 时 刻 。 这 样 分 割 描述 了 过 程 从 时 间 t 到 t 十 1/a 时 可 能 会 发 生 
的 两 个 事件 。 为 了 重新 用 t 时 刻 的 pdf 来 描述 式 (6-208) ， 我 们 设 定 XG 1/a) =X(t) +e, 
X(t 十 1/a) 二 X(t) 一 e 是 随机 变量 X(1) 的 线性 变化 。 由 第 4 章 的 变换 结果 : 


由 NN 次 碰撞 定义 的 N 个 离散 时 间 间 隔 


fxarya (TIWlm] = ©) = fxm (z — e) (6-209) 
fxurua (z |W[m ] =— e) = fxn (z + e) (6-210) 

将 这 些 表达 式 代 入 式 (6-208) 中 得 到 : 
Fret (z) = (1/2)[ fxo (z — e) + fxm (z + e) ] (6-211) 


其 中 用 到 了 P(W[m]=<)= P(W[m]=—£e)=1/2, 
由 于 假设 上 和 # 为 连续 变量 ， 可 将 函数 用 泰勒 级 数 展 开 。 式 (6-211) 的 左边 对 上 展开 为 : 


fron (z) = fxw (2) + A/a) SF xy (2) aren (6-212) 
同样 ， 式 (6-211) 右 边 对 r 展开 为 : 
er We (x) HE 2 fy G48 Soho (2) + (6-213) 
Ox ox 
fxw (z — e) = fxw (z) 一 “pas (x) +e Oe 2 (xr) — ve (6-214) 
dr Ox 


这 些 式 子 代 表 了 xsuva(Cz) 沿 时 间 轴 + 上 AR 88 > 展开 的 形式 。 由 于 最 终 目 的 是 让 
es 一 0( 创 造 一 个 连续 振幅 函数 ) 以 及 -~>ce( 人 允许 过 程 在 任意 时 间 变 化 ) ， 我 们 忽略 所 有 高 阶 
项 ， 因 为 它们 要 么 依赖 1/a”(m 宇 2) 要 么 是 e"(m 宇 3)。 注 意 到 我 们 必须 保留 e* 项 ， 因 为 : 
(i) = 的 两 项 互相 抵消 (ii ace’? 假定 为 常数 。 

Hest (6-212) ~50 (6-214) FRA R (6-211) BF ; 


2 
fifa) 2 faatay dk -. (6-215) 
ot ox 


— 
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其 中 省 略 号 表示 的 是 两 个 展开 式 的 高 阶 项 。 最 后 ， 令 cco，s 一 0， 则 ae” HRM, BHA 
有 高 阶 项 ， 得 到 二 阶 偏 微分 方程 (DE) : 


È fo (z) = ae” So fro (z) (6-216) 


这 个 方程 的 解 是 维 纳 过 程 的 pdf( 见 题 6-33) 。 
定义 ( 维 纳 过 程 ) 维 纳 过 程 是 一 个 连续 时 间 过 程 ， 具 有 如 下 高 斯 pdf: 
fxw (z) = —exp(— x /2ae°t) (6-217) 
2mae~t 
CHAE. 22 3 ot) =a t, MUEHR XOS, 

维 纳 过 程 是 伯 努 利 随 机 游 走 的 时 间 连 续 、 振 幅 连 续 的 情况 ， 它 的 振幅 可 在 任意 时 刻 
tETSR 变化, 且 振 幅 可 以 为 及 中 任意 值 。 因 此 ,与 泊 松 计数 过 程 相似 ， 维 纳 过 程 可 被 
看 作 是 一 个 积分 滤波 器 的 输出 。 差 别 在 于 模型 中 设 定 伯 努 利 序列 的 输出 为 士 s( 而 不 是 泊 松 
计数 过 程 的 {0,1) )。 第 8 章 中 将 证 明 ， 一 个 维 纳 过 程 可 通过 对 PSD 为 ae’ 的 白 噪 声 积 分 
产生 。 尽 管 维 纳 过 程 的 均值 始终 为 零 ， 但 它 的 方差 at 随时 间 线 性 增长 ， 因 此 X (DO 是 一 
个 非 平 稳 随机 过 程 。 图 6-26 是 维 纳 过 程 的 现实 示例 。 
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图 6-26 式 (6-217) 中 ae? = 1 时 维 纳 过 程 的 现实 示例 


维 纳 过 程 可 用 更 通用 的 形式 定义 ， 假 设 它 是 一 个 isi 过 程 ( 因 此 是 莱 维 过 程 的 一 类 ) 
定义 (扩展 的 维 纳 过 程 ) 扩展 的 维 纳 过 程 X(t) 是 一 个 isi 过 程 ， 初始 值 X(0) 二 0， 因 
此 有 : 
1 


/ 2nae* (te ee a, 
其 下 to th 


XD- X(t WAH a (如 一 石 )， 在 式 (6- oe L=, h=0 h}, THB ae? t, 
X(t.) Al X (1, ) BY BT Ze RRON : 
Cor (fH SL GD GG = Reh ya y == EI = Kh) -E RG 55 AF68 y] 
=€[(X() — XR) ] + £[X2 (t, )] (6-219) 
由 于 增 量 是 独立 的 ， 最 后 一 行 的 第 一 个 期 望 值 分 成 两 个 期 望 值 的 乘积 ， 则 
Co Cti ota) =ELX CR) — XUN TELA Ct] + ELA? HID] 
=L X* (2 y | tae ei (6-220) 
其 中 我 们 用 到 了 过 程 具 有 零 均 值 的 特性 来 消去 式 子 的 第 一 项 。 这 个 结果 是 在 假设 t >t 时 
得 到 的 ， 对 于 任意 (t,t) 


fx xe) (z) ord exp(— z“ /2ae* (t, — B )) (6-218) 
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人 (6-221) 
这 也 是 自 相 关 函 数 ， 因 为 过 程 是 零 均 值 的 ， 图 6-27 画 出 了 它 的 示意 图 。 注 意 到 泊 松 计数 
过 程 的 自 协 方 差 函 数 具 有 与 这 张 图 相同 的 形状 ， 同 样 的 还 有 伯 努 利 游 走 和 泊 松 计数 过 程 
(但 是 在 全 ,ts) 的 整数 值 ) 。 维 纳 过 程 的 相关 性 的 结果 也 在 表 6-4 中 进行 了 总 结 。 
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6. 12.4 高 斯 过 程 
考虑 一 个 随机 过 程 ， 其 输出 由 高 斯 分 布 给 定 。 
定义 (高 斯 过 程 ) 高 斯 过 程 X(1) 是 一 组 由 连续 时 间 索 引 的 随机 变量 ， 则 对 任意 NN 个 
时 刻 {tise is) Ü 它们 的 联合 pdf 是 高 斯 的 : 
. 1 To 
xa, XCty) (E19 °** 1 EN) ESAT mn ill (x— p) Cx (x —p)) (6-222) 
AP XAEXG) e, XD], r&s Han], p= ELX], Ca =£[(X—p)(X—up)'] 
是 自 协 方 差 矩阵 ，|Cxx | 是 Cxx 的 行列 式 。 
图 6-28a 是 一 个 iid 高 斯 过 程 的 一 个 现实 示例 ， 参 数 jy 二 0，Cxx 二 TI。 由 于 之 前 所 有 的 
过 程 都 是 基于 对 伯 努 利 序 列 的 求 和 或 积分 得 到 的 ， 自 相关 函数 由 过 程 如 何 构造 决定 。 而 高 
斯 过 程 却 不 是 以 这 样 一 种 模式 定义 的 : 协 方差 矩阵 是 过 程 的 一 个 独立 参量 ， 由 式 (6-222) 
中 Cx 给 定 。 与 高 斯 随机 向 量 类 似 ， 一 个 高 斯 随机 过 程 的 特性 完全 由 其 均值 向 量 和 协 方差 
矩阵 决定 (可 以 是 时 间 的 函数 ) 。 
假设 我 们 要 产生 相关 高 斯 过 程 的 一 个 现实 。 设 Y 是 由 N 个 均值 为 零 、 单 位 方差 的 不 
相关 高 斯 随机 变量 组 成 的 向 量 : ELY =O, ELYY" ]= I. W Cxx 是 希望 的 协 方 差 阵 ( 它 也 是 
自 相关 阵 ， 因 为 均值 为 零 ) 。 由 于 Cxx 是 对 称 且 正定 的 (PD)， 它 可 用 如 下 所 示 的 楚 列 斯 基 
分 解法 分 解 为 ( 见 附录 G): 





C = BB" (6-223) 
其 中 也 是 一 个 具有 正 对 角 元 素 的 下 三 角 抢 阵 。 通 过 构造 这 个 变换 
X ='pY (6-224) 
RATE BI fe BEY PR E|: ; 
g£[XX'] = B ë[YYT IB" = Ce = Rel TEHE) (6-225) 


图 6-28b 给 出 了 一 个 相关 高 斯 过 程 的 现实 示例 ，Rxx (z) 一 exp( 一 |z|/100)。 观 察 到 这 
个 现实 比 6-28a 中 的 id 过 程 显得 更 容易 “预期 *。 图 6-1 中 的 现实 是 这 种 相关 高 斯 随机 过 程 
的 另 一 个 现实 。 
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图 6-28 一 个 高 斯 过 程 的 现实 示例 。a) 参数 (u = 0,0 = 1) 的 独立 同 分 布 (iid); b) p=0, ELX) XG, ) ]= 
Rxx (ts—11)=Rxx (z) —exp(— | z | /100) 的 广义 平稳 


6.12.5 脉冲 幅度 调制 
随机 过 程 PAM 具有 以 下 表述 : 


X(t) = 5) A,rect((t— nT) — T/T — 1/2) (6-226) 


其 中 T, 是 一 个 幅度 值 的 持续 时 间 ，{A,} 是 iid 随机 变量 ， 开 是 [0,T] 间 均 匀 分 布 的 随机 
变量 ， 用 来 为 所 有 实现 的 延迟 时 间 建 模 。 图 6-29 给 出 的 是 一 个 现实 示例 ， 其 中 A, 输出 为 
(—3,—1,1,3), Tu 王 1，T=0。 因 为 是 矩形 函数 ， 输 出 为 士 1 的 PAM 类 似 于 随机 电报 信 
5, 除了 其 具有 更 多 结构 : 波形 只 能 在 符号 周期 Tu 的 整数 倍 时 改变 ， 且 改变 只 能 发 生 在 
A, 关 A,+1 时 。 这 个 随机 信号 的 某 些 特性 将 在 题 6-36 PRET A. (A. 的 输出 为 士 1 的 特 
殊 情况 有 时 被 称 为 随机 二 元 信号 。 


3 


0.5 1 1.5 2 2.5 3 3.5 4 4.5 5 
t 


图 6-29 T,=1, T=0 R 4% PAM 的 实现 示例 C) 


6.12.6 ”随机 正弦 信号 
最 后 ， 我 们 回 到 第 1 章 中 讨论 的 具有 随机 分 量 的 正弦 波形 。 这 样 的 信号 在 通信 系统 中 非 
常 重要 ， 通 信 系 统 中 正弦 波 被 随机 过 程 调制 后 可 在 不 同 地 方 用 高 频 载 波 来 实现 信息 的 传输 。 
考虑 以 下 的 随机 过 程 : 
X(t) = Asin(2xf.t + @) (6-227) 
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其 中 A 为 振幅 ， 广 为 载波 频率 ，G6 为 相 移 ， 可 用 它们 描述 各 种 随机 性 。 首 先 ， 假 设 A 和 
P 是 不 随时 间 改 变 的 独立 随机 变量 。 例 如 ，GB 可 以 在 [0,2x] 间 均 匀 分 布 ，A 可 以 是 零 均 
值 、 单 位 方差 的 高 斯 变量 。 当 A 和 @ 的 分 布 呈 某 一 特殊 值 时 可 得 到 义 (z) 的 一 个 现实 。 
图 6-30a 给 出 了 f.=1Hz 时 三 个 这 样 的 现实 ， 每 个 都 有 不 同 的 振幅 和 相位 。 

随机 正弦 波 可 由 允许 振幅 和 相位 为 随机 过 程 来 产生 : 

X(t) = Asin rft + B(1)) (6-228) 

对 于 时 变 的 情况 ， 过 程 用 一 个 A(z) 乘 以 正弦 波 ， 称 做 调幅 (AM)。 类 似 的， 一 个 时 变 
的 相位 B(1) 产 生 调 相 (PM) 信 号 (也 可 以 变化 频率 f.， 得 到 调频 信和 号 (FM))。 图 6-30b 和 
6-30c 显 示 的 是 AM 和 PM 的 例子 ,其 中 A(1) 是 振幅 为 {1,2,3,4} 的 伯 努 利 方案 ，GB(1) 是 
相位 为 {2x/5,4x/5,6x/5,8x/5) 的 伯 努 利 方案 ， 对 应 各 自 的 四 个 符号 。 载 频 为 f. = 二 10Hz， 
振幅 和 相位 可 每 隔 0. 2s 变化 一 次 (符号 周期 ) 。 因 为 调制 波形 A(t) 和 B(t) 只 有 有 限 数 目的 
值 ， 它 们 是 数字 调制 的 例子 ， 分 别称 为 幅 移 键 控 (ASK) 和 相 移 键 控 (PSK)。 注 意 到 6.11 节 
讨论 过 的 PAM 就 是 一 个 基带 的 ASK， 因 为 它 不 包括 正弦 载波 。PAM 的 情况 类 似 ， 一 个 正 
弦 波 的 数字 调制 具有 更 多 结构 ， 因 为 : (i ) 振 幅 和 相位 的 数目 是 有 限 的 ; (i) 它们 只 在 一 
个 确定 的 符号 周期 的 整数 倍 处 变化 。 这 种 结构 在 接收 机 中 被 用 来 确定 传输 的 符号 ， 第 10 
章 数 字 通 信 中 将 详细 讨论 这 个 问题 。 





4 
3 
2 
14 
=o 
-1 
-2 | 
-3 
-4 
0 0.2 04 ， 06 0.8 1 
b) 
1 
0.5 
= 0 
-0.5 
=1 
-1.5 
0 0.2 0.4 0.6 0.8 1 


c) 


图 6-30 BüB8LIE3Z92. a) 振幅 和 相位 是 随机 变量 的 现实 ; b) 幅 移 键 控 (ASK); c) 相 移 键 控 (PSK) 


习题 

基本 随机 过 程 的 概率 空间 (NFP), 画 出 所 有 现实 。 

6-1 假设 一 个 随机 过 程 的 样本 空间 为 s= {1,2,3,4}， 62 设 一 个 随机 过 程 的 样本 空间 为 8 = [0,1], Wi 
OM FT =R+ 有 XG, O=exp(— Bult), W WF T = [0:5] XEO = e—2)u(t— 3) 


等 可 能 的 5“， 详 述 在 :一 1 和 :一 2 时 随机 变量 十 exp( 一 风 )x(D 。 对 于 均匀 分 布 的 5， 求 出 二 
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6-3 


6-4 


6-5 


2 和 1 二 4 时 随机 变量 的 概率 密度 。 

考虑 以 下 随时 间 线 性 增长 的 随机 过 程 : 
Y(t)=at+X (6-229) 

其 中 a 是 一 个 常数 ，X 在 [一 1;1] 上 均匀 分 

布 。 求 = 二 及 + 时 Y(1) 的 累积 分 布 消 数 和 概率 

密度 。 

i X(t1)=Aexp(—tu(t). Hp A 服从 离散 


的 均匀 分 布 ， 输出 为 {一 L0132}. RTE 
Re bt X(1) 的 概率 密度 。 
考虑 以 下 随机 过 程 的 积分 : 

Y(t) = | Xd (6-230) 


设 X(0 55 US 6-4 中 相同 ， 除 了 A 是 一 个 标 
准 高 斯 随机 变量 。 求 Y(z) 的 概率 密度 和 累积 
分 布 函数 。 


相关 性 和 平稳 性 


6-6 


6-7 


6-8 


6-9 


6-10 


6-12 


求 习 题 6-3 PY COMMA, WHE. AKA 
数 和 自 协 方差 函数 。 
BMFTER*AYO=XHO+V, HPX 
是 广义 平稳 ,均值 为 py. AK RH 
Rxx (z), 求 Ryy Cr) ll Cyy (r): (a) V=v Æ 
常数 ; (b)V 是 一 个 与 X(D 独 立 的 随机 变量 ， 
均值 为 pr， 方差 为 my 。 
定义 以 下 随机 过 程 ， 对 于 T= 二 [0，1]: 
Y(t) = X,t— X: (6-231) 
其 中 (X, ,X,) 是 独立 的 随机 变量 ， 在 [一 1,1] 
上 均匀 分 布 。 求 累积 分 布 函 数 、 均 值 yy (1) 
和 自 相 关 函 数 Ry (ti ,ts)， 确定 过 程 是 否 是 广 
义 平稳 的 。 
Y(t) = Xicos(wot) + Xz sin(wot) 
(6-232) 
其 中 om EA. {Xi . X.) 是 独立 的 对 称 伯 努 
利 随 机 变量 ,输出 为 {一 1,1), WW 
PIX 一 1) 一 P(X* 一 1) 一 力 。 确 定 对 于 任意 p 
值 Y(D) 是 广义 平稳 的 。 
WFT=R, EM 
X(t) = cos(ant + @) 
其 中 BB 在 [一 x,xj] 上 均匀 分 布 。(a) 求 
Rxx (hy sta) 的 表达 式 ， 确 定 X(t) 是 否 是 广 
义 平 稳 的 ; (DiR sin 代替 cos， 重 复 问 
题 (a) 。 
考虑 以 下 随机 序列 
Y,[k]= X[£]+2X[k—1] (6-234) 
Y,[k]= X[k£]+ (1/2)Y,[k—1] (6-235) 
其 中 当 T=Z+ m, X[k] E FJ iid 序列 。 
(a) 确 定 Yi CRIM Y, [k] E S J X F E; 
(b) 求 互相 关 函 数 ELY' LA , JY, [ k, 11. 
É X(Cb 是 广义 平稳 高 斯 过 程 ， 均 值 为 零 、 
AAA PAB Rxx (rz)。(a) 证 明 对 于 所 有 
tET, @ fxn (z)= fx (z), tB B JEE D £ th 


(6-233) 


6-15 


6-18 


是 一 阶 平 稳 的 ; (bie XO AM PB. 
推导 表 6-4 中 广义 伯 努 利 随机 游 走 的 自 相 关 
和 自 协 方差 函数 。 

对 定义 在 T 王 W 上 的 随机 序列 XC], eH 
HERRE BROR k, HEM TAROK ko 
设 掷 硬币 的 输出 为 10,1)，, RARE t Hi A 
常规 的 6 个 数字 。(a) 推 导 Ryxlm, m ] ËJ 
表达 式 ; (DRM MHA k, P(X[k]= X[k 一 
1j) 的 值 。 

考虑 定义 在 T= 三 Z+ 上 的 独立 同 分 布 标准 高 
斯 随机 变量 组 成 的 随机 序列 XLk]。 设 对 于 
T=N#la€ R, YLk]=X[k]+aX[k-1]. 
(AR Ryy[mj 的 表达 式 ; (b) 确 定 YLA] 是 否 
为 独立 增 量 序列 ; (c) 对 于 Z[k]= X[k] + 
aX[k 一 2] 重 复 问题 (a) 和 (b)。 


考虑 以 下 乘积 序列 : 


Y[k] = aJI X[n] 


其 中 随机 序列 X[ 和 ] 是 独立 同 分 布 在 RR 上 的 
faith. RE YA) ABR a. 
考虑 求 和 


(6-236) 


Y[k] = > x[n] 


其 中 XLA 是 独立 同 分 布 序列 ， 具 有 非 零 均 
值 wx 。 确 定 Z[k]=Y[k]— ky; 是 否 为 一 
Te. 

i EF PF i Se tS — aR 


Y[k] = (X xin)" — ko? (6-238) 


其 中 X[kj 是 一 不 零 均值 的 独立 同 分 布 序列 ， 
方差 为 ox。 


(6-237) 


马尔 可 夫 链 


6-19 


6-20 


一 个 具有 三 个 状态 (1,2,3} 的 马尔 可 夫 链 ， 
转移 矩阵 为 
0.3 


TE 

‘3 02 
sk(a)P(X[2]=3]| X0]=1); 
(c)P(xX[17=2 | X[2]=3). 


是 等 概率 的 。 
推导 切 尔 曼 - 科 尔 莫 洛 夫 方程 更 通用 的 形式 


Wd YB 
WF l<s<ry 
一 个 马尔 可 夫 链 有 三 个 状态 (1.2.3), BB 


矩阵 为 : 
0 
P= ñB 0.2 3 (6-241) 


Be O21 n 


0. 6 
0. 5| (6-239) 
0.6 
(b)P(X[2]=3); 
假设 初始 状态 


(6-240) 


6-22 


6-23 


6-24 


6-25 


对 于 初始 状态 p[0]=[o.2.0.3,0.5]7, 3K p 
[kj] 的 表达 式 ， 确 定 稳 态 概率 。 
重复 习题 6-21， 此 时 马尔 可 夫 链 有 四 个 状 
AS {1,2,3,4}, 转移 矩阵 为 
6 
0. 5 #3, Q 0 
P= 
0 0 0.4 0.6 
5 w 09 07 
(6-242) 
设 plOJ=[0.1, 0.2, 0.5502)". 
考虑 以 下 具有 输出 (— 1.1) 的 马尔 可 夫 链 
XLR] 的 转移 矩阵 ; 
0.1 0.9 
a P ca 
求 序 划一] =l =i 二 Ty L, LM 1, 
1, 1, Th, £, =L, 
假设 我 们 希望 扩展 例 6-23 中 伯 努 利 比 特 计 
数 器 来 对 第 一 次 出 现 {1,0,1) 进行 检测 。 
(a) 推 导 这 个 方案 的 状态 转移 图 ; (b) 用 一 步 
分 析 法 求 检测 到 {1，0，1} 序 列 之 前 收 到 的 
比特 数 的 均值 。 
考虑 以 下 差分 方程 : 
Y[k] = aY[k—1]+ X[k] (6-244) 
Hp Y[0]=0, i X[k] 为 一 个 独立 同 分 布 
序列 ,&k 宇 0， 假设 |a | 二 1。 确定 X[k]# 
Y[k] 是 否 为 马尔 可 夫 链 。 


(6-243) 


6-26 ”证 明 式 (6-131) 中 的 概率 。 

随机 过 程 

6-27 设 X(z) 是 一 个 泊 松 过 程 ， 参数 4= 二 3。 求 以 
下 特性 : (a) PCX(2)>2); (b)P(X(1)=1, 
X(2)=2); (DHF X(O=5 出 现 前 的 平均 
等 待 时 间 。 

628 ”对 泊 松 计数 过 程 XC), 证 明 对 于 ¿< fl 


进 一 


n<N, P(X(t)=n| X (() = N)#& E HR 
Hi, BRAIN, p= t/t}. 

设 X(D 为 一 个 泊 松 过 程 ， 参 数 人 一 2。 如 果 
X(4)=3, s; 

(a)t 一 2 后 两 次 到 达 的 概率 ; (b):=1 后 一 
次 到 达 的 概率 。 


步 阅 读 


以 下 参考 资料 提供 更 多 关于 随机 过 程 各 种 特性 的 
信息 : Davenport(1970), Doob(1953), Larson 和 
Shubert(1979), Gray 和 Davisson (2004), Hajek 
(2009), Leon-Garcia (2008), Papoulis ( 1965), 
Parzen(1962) ，Viniotis(1998) 。 


6-36 


6-37 


第 6 章 随机 过 程 


求 随机 电报 信号 ZO) =WY CO) WHA, H 
差 、 失 真 度 和 超 峰 度 。 

推导 式 (6-205) 中 随机 电报 信号 ZC) A A H 
KARA. 

推导 式 (6-206) 中 半 随 机 电报 信号 X(t) 的 相 
关系 数 。 

证 明 维 纳 过 程 的 概率 密度 满足 式 (6-216) 中 
二 阶 DE。 

设 XX(2) 为 标准 维 纳 过 程 ， 方差 为 at K 
过 程 Y(z)== |X() | 的 分 布 。 

对 维 纳 过 程 ， 我 们 知道 fxr Gris H= 
Jfxe Cai) fxap -xap (22 — 21) 因为 它 具 有 
独立 增 量 。 写 出 X(1) 和 X(2) 的 联合 概率 密 
度 的 表达 式 。 

设 {0,1} 是 式 (6-226) 中 PAM 过 程 的 等 可 能 
振幅 。 假设 T, =0, R jy (1) 和 Rxx (ti sta) 
表达 式 。 为 了 求 自 相关 函数 ， 应 该 考虑 ln. 
t) 可 对 应 的 期 望 是 否 在 同一 个 符号 内 。 
推导 泊 松 计数 过 程 XO ERIE X(t) = n BJ 
到 达 时 间 的 条 件 分 布 。 


仿真 作业 


6-38 


6-39 


6-40 


6-41 


设 随 机 序列 X[k] 的 输出 为 (— 1.0.1), 概率 
4 PO)=1/2, P(—1)=P(1)=1/4. H 
rand 生成 XLA] 的 现实 ， 将 [0,1] 区 间 分 成 
三 个 区 间 来 给 出 三 种 可 能 的 输出 。 
生成 一 个 参数 A4=2,r = (1/2,1,3/2) 的 伽 
马 过 程 X(z) 的 现实 。 可 用 MATLAB } fil 
马 分 布 来 确定 间隔 时 间 。 

用 randn 和 楚 列 斯 基 分 解 方法 来 产生 一 个 相 
关 高 斯 序列 XLA] 的 现实 ， 其 均值 为 零 ， 自 


相关 矩阵， 
1/16 5/8 1/4 
区 21⁄16 5/8 | (6-245) 
1/4 5/8 ¿21/16 


仿真 习题 6-21 中 马尔 可 夫 链 。 为 了 产生 P 
的 条 件 概 率 ， 用 rand 分 段子 区 间 。 通 过 对 
足够 长 的 时 间 内 状态 发 生 数 计 数 ， 估 计 稳 
态 概 率 , 确定 其 与 习题 6-21 中 理论 值 的 
区 别 。 


Rxx 一 


以 下 参考 书 提供 一 些 特殊 问题 的 深入 探讨 。 马 尔 
ajk: Hoel, Port 和 Stone(1972), Karlin 和 
Taylor (1975), Taylor 和 Karlin (1984). $: 


Athreya 和 Lahiri ( 2006), 


Billingsley ( 1985), 


Larson 和 Shubert(1979). 
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第 J = 
随机 收敛 、 微 积分 和 分 解 


7.1 引言 


本 章 中 ， 我 们 考虑 随机 过 程 的 其 他 特性 ， 这 些 特 性 深入 阐述 了 随机 过 程 的 特征 。 包 括 
随机 序列 X[kj 在 &>oo 时 的 收敛 性 ， 以 及 随机 过 程 XG WJ XP PPE: 在 上 ET 处 连续 ， 其 
中 7 是 一 个 连续 的 时 间 集 。 还 会 给 出 随机 过 程 的 导数 和 积分 的 定义 ， 以 及 微分 方程 CDE) 。 
这 些 都 非常 有 用 ， 因 为 在 第 8 章 中 ， 我 们 考虑 信号 和 线性 系统 ， 它 们 都 是 用 常 系数 的 DE 
来 建 模 的 。 有 了 这 些 知 识 储备 ， 我 们 就 可 以 检验 线性 系统 是 如 何 改变 随机 过 程 的 概率 特性 
的 ， 特 别 是 它 的 相关 性 。 最 后 将 描述 随机 信号 是 怎样 分 解 为 各 分 量 之 和 ， 为 原始 过 程 提供 
更 多 信息 。 

考虑 图 7-1 中 泊 松 过 程 的 现实 。 本 章 中 ， xt) 
我 们 感 兴趣 的 是 过 程 连续 性 的 不 同类 型 ， 这 些 
类 型 可 能 没有 用 于 每 个 现实 。 即 使 图 中 显示 的 
现实 不 是 连续 的 ， 也 有 关于 连续 性 的 统计 定义 
使 得 这 个 泊 松 过 程 被 看 做 是 连续 的 。 各 种 连续 
的 定义 应 用 在 一 个 单独 的 时 刻 1 或 对 所 有 +E 
T. 类似 的 随机 定义 用 在 :ET 时 刻 的 导数 和 某 。 “+ | 
AY TAB l, c] CT AY AAS). Ja BI iE A, < 一 一 一 一 -一 一 一 一 
将 这 些 随机 定义 用 于 随机 过 程 的 总 体 比 用 于 各 
自 的 现实 更 有 用 。 相 同 的 方法 也 用 于 随机 序列 ET 一 个 泊 松 随机 过 程 的 现实 。 过 程 的 特 





连续 : (i FEB 
或 (ii PRAteT 





导数 ; mob 


< 一 一 > 积分: 在 to 0 上 





i Dad ca 性 包括 :在 时 刻 £ 或 整个 T 期 间 的 连 
EE RPI aS LE 续 性 。: 时 刻 的 导数 ， 在 时 间 间 隔 
7.2 随机 收敛 [am st] CTEM BAS 


随机 序列 收敛 于 一 个 常数 或 一 个 随机 变量 用 于 多 个 应 用 ， 比 如 参数 估计 ( 见 第 9 章 )。 
存在 几 种 不 同 的 收敛 ,它们 的 严格 程度 不 同 ,但 都 提供 随机 序列 在 & 一 oo 时 的 特征 信息 。 
同时 会 引出 大 数 定理 ， 我 们 将 在 此 章 中 讨论 。 

在 第 2 章 ， 我 们 描述 了 抽象 概率 空间 QFP) 的 几乎 必然 和 必然 事件 。 如 果 PCE) =1 
或 者 如 果 P( 玉 )=0， 事 件 巨 是 几乎 必然 的 。 几 乎 必然 并 不 意味 着 下 会 发 生 。 如 果 事 件 下 一 
定 发 生 并 且 没有 其 他 事件 会 发 生 ， 则 已 是 必然 的 。 同 样 ，P(E) 三 0 的 零 概 率 事件 E( 但 可 能 
发 生 ) 和 一 个 不 可 能 事件 ( 绝 不 会 发 生 的 事件 ) 是 有 区 别 的 。 l 

考虑 一 个 输出 为 (0,1) 的 伯 努 利 随 机 序列 XL&ICEE Z+), P(X[k]=0)= 
PCX[R]==1) 二 0.5。 一 个 无 穷 序 列 为 全 1 的 概率 显然 是 零 ， 尽 管 这 样 一 个 序列 有 可 能 出 
现 。 对 某 些 有 ， 当 koit X[k]=0 这 个 事件 是 几乎 必然 的 ; 它 也 可 能 不 发 生 ， 因 此 它 不 
是 必然 的 。 < 

对 例 7-1， 我 们 看 到 之 所 以 会 引入 几乎 必然 事件 的 概念 是 在 进行 了 无 限 次 观测 后 。 我 
们 将 此 定义 用 于 随机 序列 X[&] 的 收敛 性 (通常 也 用 在 随机 变量 序列 (X ,XX ,…) 中 )。 

定义 (几乎 必然 收敛 ) 随机 序列 XLR 几乎 必然 收敛 ， 如 果 

PdimX[k] = X)= 1 (7-1) 


其 中 和 是 一 个 随机 变量 或 一 个 常数 。 这 种 收 健 也 被 称 为 依 概 率 1 收敛。 常用 以 下 的 标记 来 
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表示 : X] >X。 用 随机 变量 序列 的 基本 样本 空间 S( 见 第 6 £), 我们 可 将 其 表示 的 更 
精确 : 、 
PCE € S:limX[k,{] = X) = 1 (7-2) 
其 中 X(25) 是 一 个 随机 变量 或 常数 。 
如 果 一 个 现实 不 收 化 ， 则 要 么 它 发 散 为 士 c2O， 要 么 振荡 ， 且 不 会 停止 。 
定义 ( 收 全 的 现实 ) ”现实 [k G] kaTa, RIEA D>, AEA kii, A 
kelki =x] E (7-3) 
如 果 对 所 有 5ES，z(5) 都 是 相同 的 值 ， 则 序列 X[k] 收 化 于 一 个 常数 。 图 7-2a 对 三 个 现 
实 的 情况 进行 了 说 明 ， 它 们 都 收敛 于 同一 个 数 ( 纵 轴 上 一 个 间隔 为 2e 区 间 的 中 心 处 )。 它 是 一 
个 分 布 由 5ES 决 定 的 随机 变量 : 特定 的 5 会 给 出 特定 的 区 5) 的 值 。 见 图 7-2b， 图 中 两 个 现实 
收 笃 于 一 个 值 ， 第 三 个 现实 收 华 于 随机 变量 的 一 个 不 同 输出 。 





a) 


图 7-2 收敛 现实 的 说 明 。a) 收敛 到 一 个 常数 ; bd 收敛 到 一 个 随机 变量 。( 为 了 看 起 来 更 清晰 采用 了 序 
列 的 连续 模式 ) 


定义 (必然 收效 ) 随机 序列 XLRI, wR MHA 5ES， 有 
limX[k,¢] = XH (7-4) 
其 中 X(5) 是 一 个 随机 变量 或 一 个 常数 。 

对 必然 收敛 ， 定 义 中 并 不 包括 概率 ， 随 机 序列 的 所 有 现实 都 收 僵 ， 即 使 是 零 概率 
事件 。 必 然 收敛 显然 要 强 于 几乎 必然 收敛， 后 者 “忽略 ”了 零 概 率 非 收敛 的 那些 现实 。 
但 是 ， 我们 通常 较 少 考虑 必然 收敛 ， 因 为 在 实际 中 我 们 一 般 不 关注 具有 零 概率 的 
现实 。 

设 一 个 随机 序列 的 现实 描述 如 下 ; 

X[k, E] = ule] (7-5) 
其 中 &LA] 是 离散 单位 阶 跃 函 数 ， 样 本 空间 S 的 输出 是 在 [0,1] 上 均匀 分 布 的 。( 回 顾 上 一 
章 : 5 的 元 素 实 际 上 是 各 个 现实 。 但 是 ， 对 某 些 具有 如 本 例 中 所 述 结构 的 随机 过 程 ， 通常 
有 可 能 用 一 个 随机 变量 或 随机 向 量 的 输出 来 描述 那些 现实 。) 如 果 5 一 0.5， 则 对 应 的 现实 为 
X[k,0.5] = (0.5)*u [k], ë Kk $ + 0. BR Xk] MAHA CE CO, DKF 只 有 
X[k,1] K” 1( 对 所 有 R， 它 实际 上 是 一 个 常数 ) 。 随 机 变量 X[L 纪 在 收 化 处 是 输出 为 
{0,1} 的 伯 努 利 ， 其 中 PCX(C)=1)=p=0, PIXO =0)=q &1—p=1, Ak, XLE 
一 个 几乎 必然 是 常数 (等 于 0) 的 随机 变量 的 例子 。 由 于 所 有 的 收敛 值 都 是 有 限 的 ，X[kj] 必 
然 收 敛 。 假 设 代 之 以 : 


X[k.) = kttu[k] (7-6) 

这 个 随机 序列 不 是 必然 收敛 的 ;因为 它 在 t= 二 1 时 发 散 。 但 是 ， 它 是 几乎 必然 收敛 的 ， 

因为 P(ç=1)=0, HEE (0,1), # kÉ 的 乘积 中 >0 ERF k>, < 
设 一 个 随机 序列 的 现实 为 : 

XLR,5] = exp( tk)uLk] (7-7) 


其 中 三 个 输出 8 二 {一 1,0,1) 等 概率 。 显 然 ，X[k] 不 是 几乎 必然 收敛 的 ， 因 为 当 t 二 1( 具 
有 非 零 概率 ) 时 它 发 散 。 同 样 ， 如 果 S 的 输出 是 在 [一 1,1] 上 均匀 分 布 的 ，X[L&] 不 是 几乎 必 
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然 收 敛 的 。 与 5<1 对 应 的 现实 以 概率 P(limX[k]=0)=1/2 KAF 0, 5 t=0 对 应 的 现 
实 “ 收 敛 " 于 1， 所 有 其 他 现实 (联合 概率 为 1/2) 是 发 散 的 。 < 
几乎 必然 收敛 意味 着 随机 序列 的 每 个 具有 非 零 概率 的 现实 收敛 到 一 个 常数 。 这 个 常数 
对 所 有 现实 不 一 定 都 相同 ， 某 种 情况 序列 仍 收敛 ,但 收敛 到 一 个 随机 变量 。 由 于 几乎 必然 
收敛 应 用 于 每 个 现实 ， 相 比 于 其 他 类 型 的 收敛 而 言 ， 它 是 一 个 很 强 的 条 件 。 例 如 ， 依 概率 
收敛 是 一 种 较 弱 的 收敛 类 型 。 
EMR BIS) 随机 序列 X[kj] 依 概率 收敛 ， 如 果 对 每 个 e 二 0 有 
limP( | X[k] —X|>e) = 0 (7-8) 


其 中 义 是 一 个 随机 变量 或 一 个 常数 。 通 常用 以 下 符号 表示 : Xk} X, 

与 式 (7-1) 比 较 ， 我 们 看 到 这 里 的 取 极 限 是 在 求 概率 表达 式 之 外 。 与 式 (7-2) 对 应 的 依 
概率 收敛 为 : 

limP(¢ € S: | X[k, p] —X(O |>) = 0 (7-9) 

ROD rB A ERE SC AS BEE ANB k EE su 
BFE BA, WSC CY SE CARS SE HE AR EG 2 AR Re JU T: $R 
WOK AY ALS. KARER k AAS b AN E 
限制 在 2e 范围 内 。 某 些 现实 可 以 超出 这 个 范围 ， 





只 要 其 他 的 现实 进入 此 范围 满足 以 上 概率 序列 的 Wa 
极限 值 ， 如 图 7-3 所 示 。 图 7-3 ” 依 概 率 收 敛 的 图 解 (为 了 看 起 来 更 
考虑 以 下 随机 序列 ， 清晰 采用 了 序列 的 连续 现实 ) 
YLE] = LS) xin] (7-10) 


H+ (X[mJ]) x iid 高 斯 随机 变量 ， 参 数 为 { u on 显然 YLA] 也 是 零 均 值 高 斯 的 ， 但 具 
有 递减 方差 上 /k。 这 个 方差 很 容易 计算 ,因为 有 独立 性 的 假设 ( 见 第 5 章 )。 在 接 下 来 的 推 
导 中 ， 我 们 将 证 明 Y[Lkj] 依 概率 收敛 于 0。 由 定义 ， 

P(|Y[k]—0|>e) = P(Y[k] > 68)+P(YLk] <—e) = 2P(Y[k] >e) (7-11) 
因为 Y(k) 的 pdf 是 偶数 ， 上 式 被 简化 。 由 第 3 章 可 知 


P(Y[k] > e) ware exp(— v'/2(a"/k)) du 
V 2x(o’/k) 


eee yy — it /2) dae N 
= Fel z ss /2)do = QWke /o) (7-12) 
它 为 Q 函 数 ( 见 附录 B)。 正 如 上 面 提 到 的 ， 这 个 概率 是 一 个 确定 的 序列 而 且 不 关注 各 单独 
的 现实 。 对 于 依 概 率 收 么 ， 我 们 只 需要 式 (7-12) 对 每 个 e>0 收敛 到 0 即 可 。 由 QQ 函数 的 
特性 ， 即 
limQ(Vke/a) = 0 f (7-13) 
El jk Y[kj] 依 概率 收敛 到 一 个 常数 。 < 
另 一 种 不 关注 各 单独 的 现实 的 收敛 是 依 均值 收敛 。 
定义 ( 依 均 值 收 化 ) 随机 序列 X[kj] 依 均值 收敛 ， 如 果 满 足 
lim EL| X[k]— X|” ] =0 (7-14) 


其 中 外 是 一 个 随机 变量 或 一 个 常数 ，mEN。 通 常用 以 下 符号 表示 : i 其 中 
L” AL" 范 数 ( 当 m=2 时 是 欧 几 里 得 范 数 )。 
可 以 证 明 : L" WORE Rt mn, L 也 收敛 ( 见 题 7-4)。L” 收敛 应 用 最 广泛 的 形式 


E: m=2 时 对 应 的 均 方 (MS) 收 将， 以 下 符号 也 用 于 这 种 情况 : X[k] 一 >X。 以 上 的 期 望 值 
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是 一 个 趋 于 确定 的 序列 ， 是 式 (7-8) 中 的 概率 。 它 不 关注 各 单独 的 现实 ， 只 关注 总 体 的 
| X[k] 一 X1”" 趋 于 0。 显 然 这 种 收敛 要 强 于 依 概率 收敛 ， 稍 后 将 加 以 证 明 ，。 
EE 对 例 7-4 中 的 随机 序列 ， 我 们 需要 证 明 对 MS 收敛 有 : 
lime[Y*[k]] 一 0 (7-15) 

这 很 容易 得 到 ， 因 为 YL 外 具有 零 均 值 ， 而 且 我 们 已 经 知道 YLRE] 的 方差 为 中/R。 

考虑 随机 序列 XLA]， 对 某 个 特定 的 时 刻 上 ，cdf 为 Fx (xz) 二 P(X[k] 二 x)。 我 们 再 定 
义 一 种 收敛 ， 它 比 之 前 所 有 收敛 的 定义 都 要 弱 。 

定义 ( 依 分 布 收 化) 随机 序列 X k ky fp ek. wR 








limFxr (z) = Fyx(z) (7-16) 
对 所 有 工 假设 cdfFx (x) 存在。 常 采用 以 下 符号 标记 : XX. < 
impos el 6-2 中 的 随机 过 程 ， 其 分 布 如 下 : 假设 工 为 一 个 离散 随机 变量 ， 则 1 一 
ke g+, 

a i Ce (7-17) 

显然 YLA] 依 分 布 收敛 : 
limF yc» (y) = u(y) (7-18) 
因为 Fr[k]—1, SMW pdf X Oy). BKB YVRIZRKAAKAF 0。 < 


表 7-1 BAT 5 种 收敛 类 型 ， 图 7-4 解释 了 它们 的 相互 关系 。 
表 7-1 随机 序列 X[ k ik 09 # 








BA: X[k] —x lim X[k, S]=X(D), BFA FES 





几乎 必然 ; XX P( lim X[k]=X)=1 


KER: XX 
iiti: XU X 
依 分 布 : X[E] “.x 


lim P( | X[ 杂 一 X | 之 se) 二 0， 对 每 一 个 e>>0 
lime | X[#]—X|"]=0, mEN 


lim Fx (2) =F x(x) 
kco 





图 7-4 随机 序列 的 五 种 类 型 的 收敛 之 间 的 相互 关系 : sa. s. CC pd, L"CpCd, 通常, 我们 不 能 对 必 
然 收敛 、 几 乎 必然 收敛 与 依 均值 收敛 的 相互 关系 下 结论 


定理 7-1 依 均 值 收 敛 意味 着 依 概 率 收 伊 。 
证 明 : 由 附录 FF 中 的 比 安 内 梅 (Bienaymé) 不 等 式 ， 用 X[k] 一 X ARG X,. a=0, WY 
得 到 ; 
P(| X[k] —X|>e) < (172) EL | X[k] — X| "] (7-19) 
对 每 个 60; 设 k— co, 则 
lim P¢ |X[k]— X|>e) < (1/e’) lim €(| X[k] —xX|"] (7-20) 


265 


266 第 二 部 分 随机 过 程 、 系 统 与 参数 估计 


假设 依 均值 收敛 ， 则 不 等 号 右边 为 0， 证 明 完 毕 。 
定理 7-2 MS 收敛 意味 着 均值 和 方差 也 收 歼 : 


X[k] => x> lim €[X[#]] = ELX] lim var[ X[&]J = var[ X] (7-21) 


证 明 : 均值 : 由 于 期 望 运算 是 线性 的 ，| E[X[k]] 一 ELX]|= 二 1ELX[kj] 一 X]|， 由 
柯 西 - 施 瓦 获 不 等 式 ( 见 附录 FF，g(X) 二 X[k] 一 XX 和 hh(X) 二 1): 
|eLX[k] —X]|< JSelCXLRJ— HHT (7-22) 
如 果 最 后 一 个 表达 式 趋 于 OCI MS HS), WeELXLA IM FELX]. 
方差 : 由 三 角 不 等 式 ( 见 附录 F): 
VE[X2[LA 站 一 VEX] — X T X07] < VEX] — X? 4+ VEX] (7-23) 
将 最 后 一 个 式 中 的 最 后 一 项 移 到 不 等 号 的 左边 得 到 : 
VELX' [k]]— VELX?] < /£[(X[k]J — XY] (7-24) 
如 果 右 边 趋 于 0， 则 二 阶 矩 ELX2 (ke FELX*)], ECX [k]]— E [X[E]]= var[ Xk] 
收敛 于 var[X]. 
由 于 随机 变量 X 是 否 收敛 是 未 知 的 ， 以 下 定理 可 用 来 证 明 MS 收敛 。 
定理 7-3( 柯 西 准则 ) 随机 序列 XCAR MSE, HARSH, 
, lim ELCX[LA ] — X[k, |)? ] = 0 (7-25) 


证 明 : 我 们 只 证 明定 理 的 必要 条 件 ， 将 式 (7-25) 重 写 如 下 : 
EL[CXLk1 J = X+ — X[k, ])2] =ELC(XLR]— X)2J+- 2 €( (X[k, J — X) (X — X[k] 
+ EL[(X— X[k, J)2] (7-26) 
由 柯 西 - 施 瓦 茨 不 等 式 ， 右 边 式 子 的 中 间 项 受 以 下 条 件 约束 : 
ELCX[k J]— XX— X[k: D] <IELCXLR — X)J ELX — X[k, ]) J| 
< /£[(X[i, ] -X2]£g[(X—X[k,] ] (7-27) 
则 ， 如 果 ELCX[LA J—X)? ]—>0, ELX Xk 六 ] >0， 式 (7-25) 中 的 极限 成 立 。 
在 以 上 MS 意义 下 用 到 的 柯 西 准则 是 实际 分 析 中 对 确定 性 情况 的 扩展 ， 其 中 一 个 数值 
序列 {xz} 收敛 ， 当 且 仅 当 对 子 序列 {x } 和 {zi } 满 足 : 








lim |z, T Fk, |= 0 (7-28) 
柯 西 准则 也 可 用 于 其 他 形式 的 收敛 ,我们 总 结 如 下 : 
依 概率 : lim PC| X[k, 引 一 X[&, 杂 | 之 e) =0, 对 所 有 的 se 之 0 (7-29) 
必然 : „lim [XC £] — X[k El =0, 对 所 有 的 SES (7-30) 
几乎 必然 : lim |X[&i, 纪 一 X[k, 困 | 二 0; 对 所 有 的 iE ECS (7-31) 
其 中 PCE) 王 1。 最 后 一 个 表达 式 也 可 写 为 : 


以 下 的 定理 对 款 序 列 有 用 ， 我 们 不 加 证 明 地 给 出 。 

定理 7-4( 蒜 收 仇 ) ”如果 X[k] 是 一 个 著 序 列 ， 满 足 E[X[k]] 二 oo， 则 当 keooM, € 
几乎 必然 收 化 于 随机 变量 X 或 一 个 常数 。 

接 下 来 ,我 们 给 出 MS 收敛 的 两 个 额外 的 特性 来 强调 定理 72 和 定理 7-3 中 用 到 的 理 
论 。 在 证 明 过 程 中 我 们 的 目标 是 重 写 感 兴趣 的 序列 的 期 望 值 使 其 受 限 于 已 知 的 依 MS 收敛 
的 其 他 序列 的 期 望 值 。 通 常 可 通过 柯 西 - 施 瓦 茨 不 等 式 或 三 角 不 等 式 得 到 边界 ， 正 如 上 面 
定理 中 用 到 的 。 接 下 来 给 出 证 明 (Stark 和 Woods, 2002), 

e 用 一 个 随机 变量 相 乘 “ 设 X[k] 依 MS KAE X, Y 为 一 个 随机 变量 ,假设 它们 有 有 

限 的 二 阶 矩 : £[X°[k]]<co#l£[Y° ]<cco, WJ 
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lim ELXLAIY] = eLxy] (7-33) 
减 去 XY， 用 柯 西 不 等 式 得 到 ， 
| ELXLAJY — XY]|< | €LXLk] — X]| |#[Y]| < VEX] -XY J ELY] (7-34) 
由 于 X[k] 一 >X 并 且 E[Y:] 是 有 限 的 ， 不 等 式 的 右边 趋 于 0 X[k]Y “oxy, 
e 用 随机 序列 相 乘 “ 设 X[k&] 如 上 所 示 ， 假 设 Y[k] 依 MS 收敛 于 Y。 我 们 通常 不 能 说 
X[kJY[&] 依 MS 收敛 于 XY。 由 三 角 不 等 式 : 
JELCXTRIYER] — XY)? = VELCXLRICYLR]—Y) + (XLR]— X) Y): J 
f <VELX [RIVA] — YF] + VERRE- XY ] (7-35) 
其 中 在 第 一 行 中 加 上 和 减 去 了 X[k]Y 项 。 由 于 期 望 中 的 乘积 使 每 个 序列 各 自 的 MS 
收 敏 没 法 用 。 注 意 如 果 X[k] 和 YY[k] 是 不 相关 的 ， 则 期 望 值 可 分 解 为 : 


JELCXTRIYLA] — XY)? < VEXI] VEYE- YY] + VEX] X2] VEL 
(7-36) 
这 是 一 个 不 太 重 要 的 结论 。 对 于 一 般 的 情况 ， 我 们 由 柯 西 - 施 瓦 茨 不 等 式 得 到 : 
ECX [RN YCR] — Y) ]<VELX TEI] VEY] — Y): ] (7-37) 
é[( X[k] — RY] EAR Ree] (7-38) 
为 了 用 到 X[kj 和 YLk] 的 MS 假设 ， 我 们 需要 不 等 式 右边 的 二 阶 矩 (不 是 四 阶 矩 ) 。 
但 是 ， 如 果 XLA] 和 YLA] 是 高 斯 的 ， 则 由 第 5 章 可 知 四 阶 矩 可 由 二 阶 矩 得 到 
#LX*[ë]] = 3 [X° [aF] ], EXT] = Rl 383] (7-39) 
对 YIA Y ARMA. HT XCRJ S x, Y[FY, CNK 阶 矩 是 有 限 
的 ， 对 高 斯 序列 式 (7-35) 的 右边 极限 值 趋 于 零 。 如 果 XES, YR SY Gk E 
一 个 强 于 MS 收敛 的 条 件 )， 则 X[k]Y[k]->XY 不 需要 高 斯 假设 。 
以 下 的 附加 特性 在 例 7-6 中 说 明 。 
© 随机 序列 的 和 ”如 果 xx, Y[k]>Y, m XTRA] +Y[eA]--> X+Y 
e 互相 关 收 全 ”对 X[k 和 Y[k] MS 收敛 ， 如 上 行 的 条 件 所 示 (Hajek，2009) : 


lim ëLX[#JY[*TJ] = ELXY] (7-40) 
这 个 结果 与 定理 7-2 中 的 均值 和 方差 收敛 类 似 。 注 意 式 (7-40) 与 式 (7-35) 中 XA] 
Y[k] 的 MS 收敛 不 同 。 

7.3 大 数 定理 


大 数 定理 描述 了 随机 序列 的 特定 函数 在 时 间 趋 向 于 无 穷 大 时 的 表现 。 它 们 是 之 前 收敛 
定义 中 关于 样本 均值 收敛 到 一 个 随机 变量 或 常数 的 特殊 情况 。 考 虑 iid 随机 序列 XE], EJ 
EA uxo ARIZ o<., ESES, 此 样本 均值 本 身 就 是 一 个 随机 序列 : 


X[k] & LS) Xm] (7-41) 


并 且 是 总 体 均 值 wx 的 一 ge ea 9 章 中 讨论 
定理 7-5( 弱 大 数 定 理 ) 样本 均值 估计 器 1 Hx: 
limP(| X[k] — py |> e) = 0 (7-42) 
TEA E>, 
证 明 : 由 于 假设 XLA 是 一 个 iid 序列 ， 样 本 均值 的 期 望 值 为 : 


E[X[A] = + > #[X[mJ] = Shen = px (7-43) 
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因此 它 是 一 个 无 偏 估计 器 ， 它 的 方差 为 : 
EL (X[k] — yy)’] = e| (+ 27 Xin] =a} = To =ot/k (7-44) 
由 附录 中 的 切 比 雪夫 不 等 式 得 到 : 


2 


P(| X[k] — pg |Z) ek (7-45) 
其 中 代 人 了 上 式 的 方差 。 这 样 ， 对 每 个 e>0 
2 
limP( | X[k] — py |> e) < lim = 0 (7-46) 
和 oo poo ke 


证 明 完 毕 。 
正如 之 前 讨论 的 ， 这 个 概率 是 一 个 确定 的 序列 。 它 是 一 个 “ 弱 定 理 ”， 因 为 它 是 基于 依 概率 
收敛 。 强 大 数 定理 指 的 是 样本 均值 的 几乎 必然 收敛 ， 这 是 一 个 更 强 的 条 件 ， 因 为 它 关 注 到 了 各 
单独 的 现实 。 要 证 明 强 大 数 定 理 ， 克 罗 内 克 引 理 是 一 个 有 用 的 结论 ， 我 们 将 不 加 证 明 的 给 出 。 
引 理 7-1( 克 罗 内 克 ) 假设 非 随机 序列 clk |REON)KAF c, WEAR: 


2 7[k]/ = ¿< co (7-47) 
其 中 0=a <a <a, <: “是 一 个 递增 的 Pinte 则 
imaa) Xem] =0 (7-48) 
定理 7-6( 强 大 数 定 理 ) 只 要 满足 
P(limX[#] = ux) = 1 (7-49) 


样本 均值 估计 器 X[k] U e $R K 6k py. 
证 明 : (Larson 和 Shubert，1979) 定 义 零 均值 序列 


Y[k] £ X} Xim] — zx) /m (7-50) 
它 的 方差 为 : 
var[Y[k]] = X Om ) €[(X[m] — p,)?] = a ) (7-51) 


其 中 我 们 用 到 了 X[A] 是 一 个 iid 序列 的 事实 。 这 个 方差 是 有 限 的 ， 因为 求 和 项 是 收敛 的 
见 附录 E) 。 观 察 到 YLA] 是 一 个 款 


ELYLk]|Y(1].---,.YLk—1]] = 2; (1/m)(X[Lm] — py) |YC1], +- Yik -1]] 


=e[(1/k)(XLR] — py) +YLk — 1J |Y[1], +, Y[k — 17] 
=(1/k) ECXCk]— u] +Y[k— 1] = Y[k—1] (7-52) 
FÈ Bi AIPE EILE 7-4), “4 kookt, Y[kE]JLU 3 P IR OF BALE Ht Y 
(或 一 个 常数 )。 由 于 YLk] 的 一 个 现实 具有 以 下 形式 : 


yk] = >) celm] — px)/m (7-53) 
我 们 可 以 采用 克 罗 内 克 引 理 ， 得 到 : 
lim ml- py) =0* (7-54) 


引 理 中 a 二 k。 则 几乎 所 有 具有 z[k] 二 (1/k) E 这 种 形式 的 现实 收敛 于 ys.， 证 明 完毕 。 
图 7-5 显示 的 是 iid 标准 高 斯 序列 X[ 妇 的 样本 均值 的 现实 的 例子 ， 证 明了 它们 趋 近 于 零 。 
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500 0 1500 2000 
图 7-5 一 个 记 标 准 高 斯 随机 序列 的 样本 均值 X[k] 的 现实 的 例子 


7.4 ”中心 极限 定理 


中 心 极限 定理 (CLT) 描 述 了 独立 随机 变量 和 的 一 个 重要 特性 。 
定理 7-7( 中 心 极限 ) j X[k] 是 一 个 iid 随机 序列 ,均值 为 ， 方 差 为 oO， 定义 以 下 
样本 均值 的 函数 : 
X[k]— px 


Y[k] a T (7-55) 
Ox 


则 limY[kj 具 有 标准 高 斯 分 布 。 


这 个 定理 指 的 是 特定 的 依 分 布 收敛 。 
证 明 : 样本 均值 的 特征 函数 为 : 


k 
Pru lw) = ELexp(joX[LA])] = Px 1(w/k) = E = Pk (w/k) (7-56) 


其 中 > X[nj 的 比值 因子 1/k Mo 组 合 在 一 起 ， 由 iid 假设 得 到 最 后 的 结果 。 可 以 直接 证 
明 对 式 (7- 55) 的 变换 ( 见 例 7-13): 
Pr Cw) = [exp(— jwyx/ Vkox) Bx (w/ koy) ]* (7-57) 
为 了 标记 方便 ， 定 义 o 全 w/V&cv， 得 到 以 下 对 指数 的 级 数 展开 : 


®y lw) = €[exp(jo,X ) ] = ed) Haz] -> Gan)" £LX" | €[ X=) 


x= mi n! 
“1+ jo €[XT1— t e[X*/2+ 32 Siem ELE") (7-58) 
其 中 求 和 项 中 的 前 三 项 被 分 离 出 来 。 同 样 对 式 (7-57) 中 的 指数 有 ， 
exp(— joy) = > sei = 1 jay eat e+ = — (7-59) 


将 EX J=0% 十 jx 代入 式 (7- -58) ， 将 以 上 两 个 级 数 相 乘 ， RA n € (0, 1 ,2} 的 大 多 数 
乘积 项 消 掉 了 ， 因 此 : 

Pru lw) = [1 — ayay /2 + + J (7-60) 

其 中 … 标 出 的 是 指数 of Mit n=2 的 高 阶 项 。 当 A->~co 取 极限 时 ， 由 于 wi 分 母 中 的 ， 这 
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些 项 可 以 忽略 ， 得 到 : 
lim[1—w /2k + ++ ]* = exp(— a /2) (7-61) 
其 中 用 到 式 (4-9) 中 的 指数 极限 的 结论 。 最 后 一 个 表达 式 是 标准 高 斯 随机 变量 的 特征 函数 ， 
则 证 明 完 毕 。 
由 于 X 具有 均值 wx 和 方差 o%/k， 以 上 表达 式 正好 使 X[k] 变 换 为 具有 单位 方差 的 零 
均值 随机 变量 。 均 值 显 然 为 零 ， 方 差 为 : 
SECAR] — py)? ] afke 
ery IREN = | (7-62) 
当然 重要 的 是 无 论 初 始 分 布 如 何 ， 只 要 均值 存在 并 且 具 有 有 限 方差 ， 极 限 分 布 就 为 高 
斯 的 。 即 使 没有 以 上 的 证 明 ， 我 们 由 第 4 章 也 可 以 得 到 独立 随机 变量 的 和 的 pdf 为 各 独立 
pdf 的 卷 积 。 在 那里 我 们 给 出 了 连续 随机 变量 的 一 些 例 子 ， 证 明了 随 着 反复 的 卷 积 运算 ， 
和 值 的 pdf 变 得 越 来 越 平 滑 ， 并 且 开 始 具 有 高 斯 型 的 样子 。 对 离散 随机 变量 也 有 相同 的 结 
ië, fJ 7-7 对 离散 的 均匀 分 布 随 机 变量 给 出 了 证 明 。 第 4 章 描 述 的 离散 随机 变量 的 高 斯 近 
似 是 CLT 的 特例 。 
回顾 第 6 章 的 内 容 : 如 果 随 机 变量 X 能 被 写 为 & 个 úd 随机 变量 的 和 (对 每 个 kEN)， 
而 且 所 有 随机 变量 具有 与 X 相同 的 分 布 ， 则 随机 变量 X 是 无 限 可 分 的 。 例 子 中 包括 泊 松 ， 
伽 马 和 学 生 氏 上 分布。CLT 中 用 到 的 样本 均值 与 一 个 无 限 可 分 的 随机 变量 的 和 是 不 同 的 ， 
EA py 产生 了 偏 移 ， 乘 了 比值 因子 V&/cx 。 这 个 正 态 化 过 程 使 得 式 子 具有 零 均值 和 单位 方 
差 ， 这 就 是 为 什么 YLkj] 依 分 布 收敛 于 一 个 标准 高 斯 随机 变量 的 原因 。 一 个 无 限 可 分 的 随 
机 变量 不 做 这 种 正 态 化 的 假设 ,因此 求 和 项 与 它 的 各 项 可 能 具有 相同 的 分 布 。 
假设 X[k] 具 有 离散 的 均匀 分 布 ， 输 出 为 {1，2}， 均 值 a= (1+2)/2=1.5, 
FE at= (22 —1)/12=1/4 则 式 (7-55) 为 ; 


k 
(1/k) >) X[m]—1.5 


Y[#] = 一 一 [xz —41, 5k] (7-63) 


对 于 任意 上 宇 1， 它 具有 零 均 值 和 单位 方差 。 即 使 XLR] 原 来 只 有 正 整 数 输出 ， 以 上 表达 式 
允许 负 与 非 整 数 输出 。 对 求 和 项 ，pmf 可 由 连续 的 离散 卷 积 得 到 ,而 且 只 对 整数 值 是 非 零 
的 。 上 面 的 偏 移 和 比例 运算 产生 了 实数 ， 在 表 7-2 中 明确 的 给 出 了 前 四 个 对 应 的 值 。 显 
然 上 必须 在 求 和 项 的 pdf 的 尾部 开始 近似 于 高 斯 pdf 的 尾部 之 前 达到 足够 大 。 < 
$ 7-2 例 7-7 中 CLT 的 说 明 
— 1. 414,0,1; 414 
— 1.732, — 0; 577y0;, 5771-732 
—= Zy 1,0;1,2 
— 2.236, — 1.342, — 0. 447,0. 447 , 1. 342,2. 236 ` 











1/4,2/4,1/4 

1/8,3/8,3/8,1/8 
1/16,4/16,6/16,4/16,1/16 

1/32 ,5/32,10/32,10/32.5/32,1/32 


ao e ww to| > 


设 X[k] 为 一 个 iid 指数 序列 ， 参 数 为 1， 均 值 =l, HË. HH 
ae 


(1/k) >) X[m]—1/a 


Y[k| = = = (Ak) X —wWVk (7-64) 
[Ck] AJDE /VE >; [m] —VE 


由 于 求 和 项 中 随机 变量 都 是 iid 的 ， 


k 
D> xim Gw) = [] Prim Go) = [A/A — jw) ] (7-65) 
m=] m=1 
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它 是 一 个 参数 为 {4,r =k} 埃 尔 朗 ( 伽 马 ) 分 布 的 特征 函数 。 由 于 求 和 项 乘 以 了 比例 因子 
XA/YE( 即 除 以 它 的 标准 差 );， 参 数 变 为 了 {VE,r = 二}。 此 时 分 布 的 均值 和 方差 分 别 为 /YE 二 
VE 和 k/(VkR)* 二 1， 因 此 式 (7-64) 中 的 Y[k] 具 有 零 均 值 和 单位 方差 。 图 7-6 中 给 出 了 对 应 不 
同上 值 时 Y[k] 的 pdf 的 例子 ,为 了 更 好 的 看 清 它们 的 形状 将 其 向 右 偏 移 了 Vk。 同时 给 出 均 
值 为 u 二 V20A4. 4721、 具 有 单位 方差 的 高 斯 随机 变量 的 pdf 作为 对 比 。 





0 2 4 6 8 10 
y 


图 7-6 fJ 7-8 中 的 Y[&] 的 移 位 pdf( 为 了 看 起 来 方便 ， 将 其 向 右 偏 移 了 Vk) < 


为 了 应 用 CLT， 我 们 要 从 问题 的 描述 中 找 出 感 兴趣 的 随机 变量 建 模 为 iid 随 
机 变量 的 和 。 例 如 ， 考虑 一 个 学 校 的 综合 考试 的 得 分 ， 已 知 均值 为 px 一 70， 标 准 差 ov 二 
10。 则 对 一 个 有 10 个 人 的 班 ， 包 括 样 本 均值 等 很 多 概率 都 可 以 用 式 (7-55) 来 近似 。 对 
P(70 委 XL10] 委 75) 中 的 边界 ， 我 们 计算 出 : 
70 — 70 75 —70 








Anor en T a 1.5811 (7-66) 
由 此 得 到 ; 
P(y, < Y[10] < y,) =Fy(1. 5811) — Fy(0) 
=Q(0) — Q(1. 5811) == 0. 4431 (7-67) 
其 中 Fy(zx) 是 标准 高 斯 cdf，Q(C(。，) 是 QQ 函数 (注意 到 Q(x) 二 1 一 Fy (x)) < 
7.5 随机 连续 


在 接 下 来 的 几 节 中 ， 我 们 考察 连续 时 间 随 机 过 程 的 特性 ， 这 些 内 容 在 微 积 分 课程 中 学 
习 过 ， 涉 及 连续 、 导 数 和 积分 。 由 于 过 程 是 随机 的 ， 我们 可 以 检测 每 个 现实 的 连续 性 或 计 
算 导 数 和 积分 ， 这 些 都 取决 于 应 用 的 需要 。 当 然 ， 对 所 有 的 现实 这 样 做 是 不 可 行 的 ， 即 使 
可 能 ， 我 们 也 不 清楚 这 样 的 特性 描述 是 否 能 够 提供 现实 总 体 集合 行为 的 有 用 信息 。 就 如 在 
前 面 的 章节 中 对 随机 变量 和 随机 过 程 所 做 的 ， 我 们 研究 这 些微 积分 的 概率 公式 可 能 更 好 。 
DE 作为 线性 系统 的 代表 ， 在 输入 随机 信号 时 已 经 讨论 过 ， 在 第 8 章 中 还 会 继续 讨论 。 我 
们 从 一 个 非 随机 函数 的 连续 性 的 定义 开始 。 
定义 (连续 函数 ) ”函数 re(OAt RAAB, wR e>, AE, BAR 
lje—ty |< = |=(ü) — =<G(ta) | < ë (7-68) 
We. ó 依赖 于 s 和 如， 我 们 可 以 写成 函数 6(e,to)。 这 个 定义 与 我 们 对 连续 性 的 直觉 
是 一 致 的 :函数 的 变量 的 微小 变化 不 会 使 函数 值 发 生 跃 变 。 图 7-7 描述 了 一 个 任意 连续 函 
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数 的 这 种 情况 。 其 他 类 型 的 非 随 机 函数 的 连续 在 附录 B 中 讨论 ， 并 且 给 出 了 例子 。 
X(tote) 


X(t) 





b b+ t 
a) b) 


图 7-7 一 个 在 处 连续 的 函数 : 当 e 一 0，6->0。a) z(i) 是 右 连续 : b) ce ORAL 


与 随机 序列 收敛 性 的 讨论 一 样 ， 我 们 也 考虑 随机 过 程 的 连续 性 的 各 种 定义 。 它 们 分 别 
Æ: (i) 必然 连续 ;( ii ) 样 本 连续 ;〈i 放 7) 依 概率 1 ERE; (iv ) 依 概率 连续 ; (Vv ) 依 分 布 连 
续 ; (Vi)MS 连续 。MS 连续 的 定义 可 能 是 最 有 用 的 ， 因 为 它 利 用 了 自 相 关 函 数 Rxx (4， 
ts)。 当 考虑 一 个 随机 过 程 的 导数 和 积分 时 ， 只 给 出 了 MS 的 定义 。 我 们 之 所 以 在 附录 B 中 
详细 地 讨论 确定 函数 的 连续 性 是 因为 随机 过 程 的 MS 连续 简化 为 自 相 关 函 数 的 连续 。 

定义 (必然 连续 ) ”随机 过 程 X(Ci) 在 T 上 必然 连续 ， 如 果 对 所 有 zET 和 每 个 5ES， 
满足 

lim| XG +e.6) — Xa H= 0 (7-69) 

由 于 “代表 了 X (oO 的 一 个 特定 的 现实 ， 必 然 连 续 主 要 是 针对 确定 性 函数 连续 性 的 定 
义 ， 应 用 于 5 中 的 每 个 现实 。 必 然 连续 意味 着 T 上 的 每 个 现实 都 是 连续 的 。 这 是 随机 过 程 
连续 性 定义 中 最 强 的 ， 尽 管 在 实际 中 它 不 是 很 有 用 。 例 如， 如 果 一 个 现实 碰巧 在 某 时 刻 to 
不 连续 ， 这 个 随机 过 程 就 不 是 必然 连续 的 ， 即 使 这 个 单一 的 现实 不 代表 过 程 的 总 体 ， 它 其 
至 有 可 能 是 零 概率 。 用 一 个 概率 公式 导出 下 一 个 连续 性 的 定义 。 

定义 (样本 连续 ) 随机 过 程 X(i) 在 三 上 是 样本 连续 的 ， 如 果 


P(lim| X€ +e) — X0) | 0, 对 所 有 tiET) 王 0 (7-70) 
它 也 可 以 写作 
P(X(z) 在 上 时 刻 是 连续 的 (对 所 有 LiET)) 王 1 (7-71) 
一 个 与 式 (7-69) 相 似 的 可 选 的 表达 式 是 
P(t € S:limXG + e,D —XG, O| 0, 38 t€ T)=1 (7-72) 


fE ASE S rB ER Ai ERT LAER BAAS 32) 89k 2 Wk Y; 随机 过 程 仍 
认为 是 连续 的 。 一 个 样本 连续 的 随机 过 程 也 被 称 为 几乎 必然 连续 。 但 是 ， 很 重要 的 一 点 是 
注意 到 这 个 定义 针对 的 现实 是 在 整个 区 间 T 上 的 。 接 下 来 连续 的 定义 针对 的 是 现实 的 总 体 
在 一 个 特定 时 刻 CET. 

定义 ( 依 概率 1 连续 ) 随机 过 程 XX(1) 在 1€ET 时 刻 依 概率 1 连续， 如果 ， 


Pdim|X(t+e) — X (|= 0) = 1 (7-73) 
它 可 被 写 为 : 
P(X) 在 tt 时刻 连 续 ) = 1 (7-74) 
另 一 个 与 (7-69) 相 似 的 表达 式 是 
P(E € S:lim| Xe +e.) — X(t,0|= 0)=1 (7-75) 
e> 


这 个 连续 性 的 定义 意味 着 lim | X(t+e)— X(t) | =0 在 特定 +:€T 时 刻 发 生 是 几乎 必然 


的 。 图 7-8 显示 的 是 依 概率 1 连续 的 过 程 的 现实 的 例子 ， 其 中 现实 在 T 的 不 同时 刻 不 连 续 。 
如 果 对 任意 上 ET， 可 数 的 总 概率 为 零 的 现实 具有 不 连续 性 ，X(o 依 概率 1 连续 。 男 一 方 


第 7 章 ， 随机 收效 、 微 积分 和 分 解 273 


面 ，X(b 不 是 样本 连续 的 :每 个 现实 在 某 个 tET 时 刻 不 连 续 。 以 下 的 例子 进一步 说 明了 
这 个 区 别 。 


随机 过 程 X( 
的 三 个 现实 


' 
1 
' 
t 
1 
' 
' 







不 连续 发 生 在 
不 同 的 时 刻 





' 
' 
' 
' 
' 
' r f tts ' 


图 7-8 在 不 同时 间 上 ET 不 连续 的 现实 的 例证 : 它们 不 是 左 连续 。 过 程 是 依 概率 1 连续 ， 但 不 是 样本 连 
续 ， 不 是 必然 连续 


考虑 数字 通信 信和 号 (随机 过 程 ): 大 家 熟知 的 二 元 脉冲 振幅 调制 信号 (PAM)， 
它 可 以 被 表示 为 : 


X(t) = DBEa — aT, juam kD ST (7-76) 


其 中 B[k] 是 一 个 iid 对 称 伯 努 利 序列 ， 输出 为 (— 1,11, u(z) 是 单位 阶 路 函数， 则 ul1) 一 
u(t 一 Ts) 是 一 个 矩形 “脉冲 ”"，Ts 二 T。 是 每 个 脉冲 的 持续 期 ，T。 是 脉冲 之 间 的 周期 。 每 个 
现实 是 一 个 脉冲 波 ， 振 幅 为 士 1， 只 在 T, 的 整数 倍 时 出 现 不 连续 。 图 ,7-9a 显示 了 Ta=T,/2 
(被 称 为 50% 工 作 周 期 ， 因 为 脉冲 在 脉冲 周期 的 一 半 时 回 到 0 值 ) 时 的 两 个 现实 的 例子 。 观 
察 到 当 相 邻 的 随机 变量 B[k] 和 B[LA 一 1] 呈 现 不 同 值 时 ， 不 连续 发 生 。 显 然 没 有 现实 是 连 
续 的 ， 因 此 六 (1) 不 是 一 个 样本 连续 过 程 。 而且， 由 于 不 连续 发 生 在 相同 时 刻 T. Tat 
Tas 2T,, 2T,+ T, 等 ，X(i 也 不 是 依 概率 1 连续。 但是， 假设 每 个 实现 有 一 个 随机 相 移 
BB， 则 随机 过 程 为 ; 


X(t) = Y BLA LuCe— T, —) —u—(+1)T, — T, — @) ] (7-77) 


假设 ó #[0, T,— TD) 上 均匀 分 布 ， 则 任何 现实 中 的 脉冲 不 会 延伸 到 相 邻 时 间 间 隔 。 
在 一 个 特定 时 刻 t 发 生 不 连续 的 概率 为 零 ， 因 为 四 是 一 个 连续 随机 变量 。 图 7-9b 中 显示 了 
具有 随机 相 移 的 两 个 现实 的 例子 。 即 使 所 有 的 现实 仍 不 是 样本 连续 的 ， 具 有 随机 相 移 的 
X(t) 是 依 概率 1 连续 的 ， 它 是 对 每 个 +:€T 的 总 体 定义 的 ， 不 是 针对 间隔 持续 期 。 





0.1 0.2 0.3 0.4 05 0.6 0.7 08 0.9 0.1 0.2 0.3 0.4 05 0.6 0.7 0.8 0.9 
a) b) 


图 7-9 二 元 PAM 的 现实 的 例子 。a) 相 移 为 零 的 二 元 PAM 波形 ; b) 具 有 随机 相 移 的 二 元 P AM 波形 ( 当 
没有 相 移 ， 且 两 个 波形 的 脉冲 相同 时 ， 实 线 部 分 掩盖 了 虚线 ) < 
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剩 下 的 连续 的 定义 不 考虑 各 单独 的 现实 ， 关 注 的 是 过 程 的 分 布 或 矩 。 
定义 ( 依 概率 连续 ) 随机 过 程 X(bi) 在 IET 时 刻 依 概 率 连 续 ， 如 果 对 每 个 ó6>0 


limP(| X(t + e) — X(t)| 宇 6) = 0 (7-78) 
与 式 (7-75) 类 似 的 表达 式 为 : 
limP(ç € S:|X(t+e,.0 — XG, |22 6) = 0 (7-79) 
e—0 


与 依 概率 1 连续 比较 ， 这 里 的 极限 是 在 求 概率 之 外 ， 因 此 是 一 个 稍 弱 的 定义 。 为 了 评 
价 式 (7-78)， 我 们 需要 联合 分 布 fxa+o.xao (z(t 十 e)，Zz(t)) 或 差 值 fxa+o-xeo6 (z(t 十 e) 一 
X(t)) 的 pdf. 

考虑 扩展 的 维 纳 过 程 ， 它 具有 以 下 的 pdf( 见 第 6 章 ); 

1 
J 2mx(t; = Br 
代入 t= 二 t 十 e 和 t= 二 +:， 式 (7-78) 变 为 


P(|X@+e)—X(t)|>8 = ?| 
ó 


exp(— z’ /2 (t, —t)) (7-80) 


Jf xa, XU) (x) = 


1 2 
exp(— z22/2e)dz = 2Q(d/ve) (7-81) 
V2re 





2ne 
其 中 我 们 用 到 了 pdf 的 对 称 性 ，Q(，) 是 Q 函数 。 扩 展 的 维 纳 过 程 是 依 概率 连续 的 ， 因 为 
对 每 个 6>0 有 limQ(6/Ye) =0. < 
最 弱 的 连续 类 型 是 基于 cdf 的 。 
定义 ( 依 分 布 连续 ) ”随机 过 程 久 (1) 在 :ET 时 依 分 布 连 续 ， 如 果 满 足 
limF x (2) = F yay Cx) (7-82) 
对 每 个 XERR 成 立 。 


这 个 极限 只 是 指 cdf 本 身 的 连续 性 。 如 果 过 程 是 iid 的 ， 显 然 它 是 依 分 布 连续 的 ， 
为 cdf 独立 于 t. 


考虑 标准 维 纳 过 程 ， 其 cdf 为 : 


| a = i 
Feta (æ) = Ë = mn z /2(t + e))dz = Q(z/ Vt+6&) (7-83) 
由 于 Q 函数 是 连续 的 ， 
limQ(z/ /t +e) = Q(z/ Jt) (7-84) 
则 维 纳 过 程 是 依 分 布 连续 的 。( 这 个 结果 也 可 从 例 7-11 中 得 到 ， 因 为 依 概率 连续 意味 着 依 
分 布 连续 。) < 


再 次 考虑 例 6-2 中 的 随机 过 程 Y(t1)， 这 次 我 们 考虑 例 7-6 中 的 离散 时 间 的 情 
况 。 为 了 方便 ， 我 们 重 写 cdf 为 : 
Fyw (y) = uly) Fr(t) + Fx(y) [1 — Fry (7-85) 
假设 Fr(i) 是 一 个 连续 函数 ， 则 显然 这 个 随机 过 程 是 依 分 布 连续 的 。 而 且 ， 由 图 6-5 
中 的 现实 可 以 得 到 结论 : Y(1) 是 依 概 率 1 连续 的 (再 次 假设 本 是 一 个 连续 随机 变量 )， 但 不 
是 样本 连续 的 ， 也 不 是 必然 连续 的 ， 因 为 过 程 Y(1) 二 XX[wu(t) 一 u(t 一 T)] 是 用 单位 阶 跃 函 
数 定义 的 。 < 
最 后 ,我们 讨论 使 用 最 广泛 的 连续 定义 ， 它 是 基于 随机 过 程 的 自 相 关 函 数 。 通 
常 ， 可 以 定义 对 第 m 阶 均值 连续 , m = 1,2,…, 但是， 最 重要 的 情况 是 mx 二 2， 即 MS 
连续 。 
定义 ( 均 方 连续 ) 随机 过 程 XG 86 t€ TZ MS 连续 的 ， 如 果 ELX2:(i)] 一 co 并 且 
lim €L (XG +e) — X0))*] 一 0 (7-86) 
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由 扩展 维 纳 过 程 ， 同 时 它 也 是 一 个 独立 增 量 过 程 ， 我 们 得 到 : 
el(X+e)= XW] =| at mw 2 20d = € (7-87) 
因为 增 量 过 程 是 高 斯 的 ， 均 值 为 零 ， 方 差 为 s。 由 于 表达 式 在 s 一 0 时 趋 于 零 ， 扩 展 维 纳 过 
程 是 MS 连续 的 。 < 


定理 7-8 如 果 随 机 过 程 XG) 2 MS 连续 的 ， 则 它 也 是 依 均值 连续 的 。 
证 明 : 由 于 一 个 随机 变量 的 均值 平方 不 可 能 超过 它 的 MS， 同 样 的 一 个 随机 过 程 在 两 
个 不 同时 刻 对 应 的 随机 变量 也 有 相同 的 结论 ， 即 


EEX +e) — XO] > [XG +e) — Xa] (7-88) 
则 
lim E((X(t +e) 一 XC)" ] = 0>lim €[XG +=)— XG] =0 
=>lim ELXC +£) — X(t) ] = 0 
—lim €[X(t+e)] 一 ELX(D] (7-89) 
证 明 完 毕 。 


依 均值 连续 并 不 意味 着 MS 连续 。 如 果 均 值 wx (7) 不 是 连续 函数 ， 则 XC) AE MS i£ 
续 的 ， 因 为 以 下 的 下 边界 ; 
ELCXG 十 e) — X(2)) ] > (£[ XGt +e] ELX? (7-90) 
如 果 对 上 ET， 当 es- 一 0 时 ， 不 等 式 的 右边 不 趋向 于 零 ， 则 式 (7-86) 中 MS 连续 的 条 件 
无 法 达到 。 
观察 到 式 (7-86) 中 的 二 阶 矩 可 以 写成 自 相 关 函 数 的 形式 ， 如 下 所 示 : 
ELX +e) — X00))]=Rxx (te,tte) + Rxx (t,t) 
— Ry (t + est) —Rxx (t,t +T e) (7-91) 
由 这 个 表达 式 ， 我 们 得 到 如 果 自 相关 函数 对 两 个 自 变 量 都 是 连续 的 ， 则 可 以 得 到 MS 
连续 。 我 们 只 需 检查 Rxx (41 ,ts) 在 接近 直线 = ET 时 的 连续 性 ， 而 不 需要 对 每 个 {41， 
to} 进行 分 析 。 
定理 7-9 ELX:(i)] 一 co 的 随机 过 程 X(Ci) 在 ziET 处 是 MS 连 续 的 ， 当 且 仅 当 Rxx (+ 
t) 在 五 三 女王 上 处 连续 。 
证 明 : (Larson 和 Shubert，1979) 充 分 条 件 : 由 式 (7-91)， 如 果 Rxx (to) Æ t BJ ZI 
对 两 个 变量 都 是 连续 的 ， 则 等 式 右 边 ~0。 由 具有 两 个 变量 项 数 的 连续 性 的 定义 ， 这 意味 
着 对 每 个 O>O, HE e>0, W44: 
(£ =D + GG —t)” <ée>| Rex (t — Rex Gt) | < ë (7-92) 
必要 条 件 : 考虑 以 下 差 什 
Rxx (i ts) — Rxx (t,t) = Rxx (ti ote) — Rxx (t,t) + Rxx (tst1) — Rxx (t,t) (7-93) 
其 中 Rxx Ot) 被 引入 式 中 。 由 绝对 值 三 角 不 等 式 得 到 ; 
| Rxx (ii t.) — Rex (t,t) |< | Rex (ti vtz) — Rexx (tot) |+ |Rxx (tst) — Rexx (t,t) | 


(7-94) 

由 自 相 关 函 数 的 定义 ， 
Rxx (ti t) — Rxx (tist) =ELX(t,) (X(t) — X(2)) ] (7-95) 
Rxx (tst) — Rxx (t t) =8£[XG(t2 (XG, ) — X(2)) ] (7-96) 


用 柯 西 - 施 瓦 茨 不 等 式 : 
|Rxx (h >p) — Ryx toD |< SJ ELX? (2, ) J ELCX CG) = X(z)2° J (7-97) 
| Rex (tyi) — Rxx (tot) |< /€[ X° (t) J ELC XG) — KY | (7-98) 
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代入 在 一 上 si 和 一 三 上 十 ee ， 用 式 (7-86) 中 的 MS 连续 的 定义 ， 得 到 当 sl ，e 一 0 时 ， 
式 (7-94) 的 右边 趋 于 零 ， 证明 完 毕 。 

对 MS 连续 ， 我 们 只 对 Rxx, t) =t =t Ah ERRAR., RNE MEA t, 
ts}ET 开 始 评价 连续 性 ， 通 过 检查 Rxx (i, ta), HP ti =+, b =e, Fa Me 各 
自 趋 于 零 。 这 确保 了 连续 性 不 是 仅 沿 着 直线 三 三 所 来 评估 ， 避 免 了 只 检测 当 s 一 0 时 Rxx G + 
est +e) 的 错误 行为 (尽管 通常 这 是 一 个 更 容易 检测 的 ， 可 用 来 确定 一 个 随机 过 程 不 是 MS 
连续 的 首要 条 件 )。 最 后 ， 如 果 XG XT RR € T E: MS 连续 的 。 则 Rxx lt st) MHA ti 
ts ET 都 是 连续 的 (见习 题 7-18) 。 

GRAD 泊 松 计数 过 程 具有 以 下 的 自 相关 函数 : 

Rxx (ti tz) =A min(t ,ts) +A? tht (7-99) 
其 中 4 二 0 是 比值 参数 。 由 定理 7-9; 
„lim |Rxx (t+ €1 st + ea) — Rxx (t,t) | 


= lim |Amin(t+e ,¢+e.) t+A?(t +e.) (¢+e.) — A — A | 
= lim | Amin(e, s€2) TA? (te, + tex Herez) | = 0 (7-100) 


即使 现实 不 是 样本 连续 的 ， 泊 松 过 程 是 MS 连续 的 ， 如 图 7-10 所 示 。 图 6-20 是 其 自 
相关 函数 的 曲线 ， 由 图 我 们 看 到 Rxx (ti ,ts) E USt ET 处 是 连续 的 。 





图 7-10” 泊 松 计数 过 程 的 现实 的 例子 ， 显示 它们 各 自 都 不 是 样本 连续 的 ， 尽 管 过 程 整体 是 MS 连续 的 < 


“ 半 随 机 ”电报 信号 Y(z) 的 现实 由 泊 松 计数 过 程 义 (1) 按 如 下 方法 产生 ( 见 第 6 
章 ): Y(t) 二 (一 1)*?。 随 着 泊 松 过 程 的 每 次 跃 变 ， 随 机 电报 信号 的 符号 都 会 改变 ， 保持 
对 增 量 数目 的 奇 、 偶 校 验 。 如 果 Y() 乘 以 一 个 输出 等 概率 取 {一 1,1) 的 对 称 伯 努 利 随 机 变 
量 ， 且 这 个 随机 变量 独立 于 Y(t)， 则 得 到 了 电报 信号 的 “随机 化 ”形式 。 这 引入 了 不 确定 性 
(更 大 的 随机 性 )， 因 为 我 们 不 再 知道 一 1 和 1 哪个 对 应 增 量 的 偶数 值 。 图 7-11 给 出 了 现实 
的 例子 。 随 机 电报 信号 的 两 种 形式 都 具有 以 下 的 自 相 关 函 数 ( 见 习题 6-3 和 表 6-4) 

Ry (ti »t2) = exp(— 2A |tz —t, |) (7-101) 
在 图 7-12a 中 给 出 了 。 这 个 过 程 是 MS 连续 的 ， 
lim |Ryy( +e +t + e2) — Ry (t,t) | = lim | exp(— 2A |e —e |) —1|= 0 


g. 


(7-102) 
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图 7-11 随机 电报 信号 的 现实 ， 显 示 它 们 各 自 都 不 是 样本 连续 的 ， 尽 管 过 程 是 MS 连续 的 < 


随机 化 的 电报 信号 实际 上 是 广义 平稳 的 ， 因 为 可 用 t=ts 一 4 RRM. H H 2 RA 
Rsvwr(Czr) 只 依赖 于 一 个 变量 ， 而 且 它 的 均值 为 零 。 尽 管 半 随 机 电报 信号 的 自 相 关 函 数 也 只 依 
赖 于 时 间 间 隔 =， 它 并 不 是 广义 平稳 的 ， 因 为 它 的 均值 随时 间 而 改变 。 对 Rxx (z), MS 连 
续 变 为 只 在 r=0 这 一 点 连续 。 
定理 7-10 如果 随 机 过 程 X(i) 是 广义 平稳 的 ， 则 当 且 仅 当 Ryy(r) 在 r 一 0 处 连续 ， 它 
是 MS 连续 的 。 
WEAR: 这 是 定理 7-9. 的 特例 ， 式 (7-91) 变 为 : 
g[(XG +e) — X) ] < Rxx (0) — Rxx (g) + Rxx (0) — Rxx (e) (7-103) 
证 明 过 程 基本 上 相同 (还 更 简单 些 ， 因 为 Rxx(r) 是 只 有 一 个 变量 的 函数 ) 。 
对 广义 平稳 的 情况 ， 我 们 需要 检测 Ryy (7) 在 t==0 处 的 连续 性 ， 可 从 两 个 方向 r 士 s 逼近 (不 
同 于 Rxx st), 它 的 连续 性 需要 在 所 一 吉平 面 上 从 各 个 方向 来 检测 在 二 一 吉 一 上 处 的 连续 性 ) 。 
对 例 7-16 中 的 随机 电报 信号 ， 自 相关 函数 可 以 写 为 : 
Rxx (z) = exp(— 2A |r|) (7-104) 
它 在 原点 处 连续 : 
lim | Rxx (z) — Rxx (0) | = lim|exp(— 22 |z|) —1|= 0 (7-105) 
图 7-12b 给 出 了 Ryy(z) 曲 线 ， 它 看 起 来 相当 于 一 个 “薄片 ” 沿 着 任意 一 条 直线 穿 过 Rex (t th) É 
Ë TE 7-12a 中 的 一刀 直线。 广义 平稳 过 程 的 自 相 关 函 数 必 须 具 有 对 一 万 一 二 的 对 称 性 。 





0 
T 
b) 
图 7-12 BW HLrB {RIA S Re. T EE =t 处 连续 。a) Rxx (0 tz) 在 去 一 此 平面 ; 

b) Ryy (z) S r HRR. HE XOR CFB. Ry (z) REE += 0 处 检测 它 的 连续 性 < 
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GRAD 考虑 一 个 白 噪 声 随机 过 程 ， 自 相关 函数 为 : 
Rxx (z) = cxÓó (z) (7-106) 
(B$ £$ 8 章 详细 讨论 。) 因 为 狄 拉 克 8 函数 在 原点 是 无 界 的 ， 所 以 所 有 的 这 类 过 
程 都 不 是 MS 连续 的 ， 但 是 过 程 是 iid 的 使 得 它 的 分 布 是 时 不 变 的 ， 因 此 是 依 分 布 连续 的 
(这 是 一 种 较 弱 的 连续 类 型 ) 。 < 
表 7-3 BAT 6 种 连续 的 类 型 ， 图 7-13 解释 了 它们 的 相关 性 。 利 用 其 中 一 个 的 关系 证 
明 来 总 结 这 一 节 。 


表 7-3 随机 过 程 X(+) 的 连续 性 的 总 结 


连续 性 的 类 型 定义 
必然 连续 (对 所 有 ET) 对 所 有 5 € S lim | X@+e.0) — X(t.) |= 0 
样本 连续 (对 所 有 (€ T) Piim | X(tte)— X(t) | #0)=0 
依 概 率 1 连续 (对 所 有 LET) PClim | X&+- X(t) | 一 0) 一 1 
依 概率 连续 (在 € T) 对 每 个 8>0 limP( | XG+) =X) |Z28) =0 
均 方 连续 (在 ET) limel | XG) =X) |*]=0 
依 分 布 连 续 ( 在 :ET) limFxe+o (z) =Fxe (z) 

均 方 连续 条 件 

非 平 稳 ( 在 :ET) Rxx (t) +t) WE ty =to =e 处 连续 
广义 平稳 (在 1€ET) Rxx (D Æ r=0 处 连续 


e 


l 8282889 | > SF 
依 概率 1 连续 ( £t 


几乎 必然 连续 的 ) 
l Ti T ` Es re 一 


oa 
aS 


依 分 布 连续 ( 在 t 处 ) 





图 7-13 随机 过 程 的 六 种 连续 之 间 的 关系 。 必 然 连 续 丑 样本 连续 己 依 概率 1 ERK fk W 3 £ S: C IK #Yr 
布 连续 ，L*CpCSd。 通常 ,我们 不 能 推断 出 MS 连续 与 依 概率 1 连续 、 样 本 连续 和 必然 连续 
是 如 何 相关 的 


定理 7-11 如 果 随 机 过 程 XDA MS 连续 的 ， 则 它 也 是 依 概 率 连 续 的 。 
证 明 : 这 个 结果 由 切 比 雪夫 不 等 式 得 到 ( 见 附录 F); 


limP(|XG +e) — X0) |>) < lim LAC Le XO) (7-107) 
对 MS 连续 ,不等式 右 边 为 零 ， 证 明 完 毕 。 
7.6 导数 和 积分 


导数 和 积分 的 应 用 非常 广泛 ， 常 用 于 系统 建 模 以 解决 各 类 工程 问题 。 通 常 ， 我 们 对 随 
机 过 程 的 滤波 感 兴趣 ， 想 知道 它 的 特性 在 与 滤波 器 的 冲 激 响应 函数 卷 积 后 发 生 什么 样 的 变 
化 。 此 外 ， 集 总 线性 系统 也 采用 微分 方程 和 积分 -微分 方程 来 表示 ， 了 解 这 些 方程 对 随机 
过 程 产生 的 作用 非常 有 帮助 。 

我 们 只 考虑 随机 过 程 的 导数 和 积分 的 MS 定义 , 它 会 再 次 导出 自 相关 函数 Rxx (4 st) 
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的 评估 。 一 个 非 随 机 函数 的 导数 定义 如 下 : 
定义 (导数 ) 函数 工 ( 划 在 1ET 处 有 导数 存在 ， 如 果 以 下 极限 存在 : 


ID = dz a Siima en (7-108) 
它 在 IET 处 存在 二 阶 导 数 ， 人 


对 更 高 阶 一 般 导 数 ， 通 常用 符号 A kin, ae tb z” (t), z (t= x (4), 3 
这 个 定义 与 MS 连续 中 用 到 的 方法 联合 可 导出 MS 导数 。 
定义 ( 均 方 导数 ) -随机 过 程 X(i) 在 ziGT 处 有 MS 导数 ， 如 果 


lim £| (XG XG) xo) ]= 0 (7-110) 
e—0 € 
其 中 X' (Ci) 代 表 导 数 。 

除了 X(zi 是 一 个 随机 过 程 ， 式 (7-110) 中 第 一 项 是 有 限 近 似 值 。 第 二 项 X' (453 S 
数 过 程 ， 由 极限 中 的 有 限 近 似 产 生 。 如 果 X'(t) 事 先 已 知 ， 则 可 以 评估 这 个 表达 式 ， 因 为 
期 望 值 是 在 求 极限 前 计算 的 。 但 是 ， 导 数 过程 通 常 是 不 知道 的 ， 因 此 由 柯 西 准则 来 确定 一 
个 随机 过 程 是 否 具有 MS FA: 

lim g[ (ACEI Xut XN] o 


El E2 


(7-111) 


400s 2 一 0 


考虑 表达 式 中 以 下 项 ， 
¿| (SERR) ] ADR G Te st ber) + Re (Oo) 
— Rxx (t,t +e;) — Rxx (tte; >t) ] (7-112) 
对 包含 e, 的 项 也 有 同样 的 结果 。 对 式 (7-111) 中 的 两 个 交叉 项 有 类 似 的 结果 : 
e Ase Se XUT SEO) Cee) CR Ct ter st ber) + Rex (tot) 
— Rxx (t,t +e.) —Rxx (tte; >t) ] (7-113) 
尽管 这 两 个 表达 式 类 似 , 但 式 (7-113) 中 的 交叉 项 与 @ Me 相关 。 这 意味 着 求 极限 
MN, 4e Me BAFE, Ryst) 导数 需要 从 ti 一 ts 平面 上 每 个 方向 来 进行 评估 。 
式 (7-112) 中 的 情况 不 同 ， 因 为 每 一 项 仅 与 ei 或 ez 相关 (不 是 与 两 个 同时 相关 ) 。 
定理 7-12 HŽ BRA Ryx (ot) 的 随机 过 程 义 (1), #2 € TW R # MS 导数 ， 当 
且 仅 当 
lim (1/eres) (Rxx (tt ett eÚ) + Rxx (t,t) 


— Rxx (t,t te.) — Rxx (te;t)] ` (7-114) 
# =b = 处 存在 。 
我 们 证 明定 理 的 充分 性 。 
证 明 : 如 果 式 (7-114) 中 的 极限 存在 ， 则 式 (7-112) 中 的 极限 也 存在 ， 因 为 式 (7-114) 如 
上 文 所 说 从 每 个 方向 趋 近 于 {t,t)}。 由 于 所 有 的 四 项 (两 个 外 项 和 两 个 交叉 项 ) 具 有 相同 的 极 
限 ， 将 它们 联合 得 到 式 (7- 111) 中 的 结果 。 
注意 到 式 (7-114) 中 的 条 件 与 Ə2 Rxx (ti t.) /Ot, dt: fE tı =t, =t 时 存在 的 条 件 是 不 同 的 ， 
因为 即使 后 者 在 t 时 刻 可 能 是 有 限 的 ， 这 个 符号 也 没有 将 一 ts 平面 上 所 有 趋向 (t,t) 的 
情况 “考虑 进来 "。 它 用 以 下 两 种 方法 计算 ， 如 图 7-14a 中 所 描述 的 : 
Sar Spake (n n) = S 2S Ra (a ,1) )= t ha by vt )) (7-115) 
第 一 种 方法 ， 偏 导 是 平行 于 e 轴 计 算 的 (zt 固定 )， 然后 沿 轴 计 算 (z, 固定 )。 第 二 


279 


280 第 二 部 分 随机 过 程 、 系 统 与 参数 估计 


种 方法 微分 的 顺序 正好 相反 。 由 图 中 ,我 们 看 到 导数 只 需 沿 着 {1,t) 处 交叉 的 两 条 垂直 线 
检测 即 可 。 另 一 方面 ， 式 (7-114) 中 的 条 件 非 常 清晰 ， 因 为 它 将 到 一 妃 平 面 上 所 有 趋向 (t, 
t) 的 情况 都 考虑 了 ， 图 7-14b 中 的 例子 说 明了 这 点 。 





a) b) 


图 7-14 基于 Rxx (4 ,bs) 的 MS 导 数 。a) 式 (7-115) 中 顺序 求 偏 导 的 描述 ; b) 用 式 (7-114) 求 MS 导数 
的 存在 性 


以 下 的 充分 条 件 通常 用 于 MS 导数 中 ， 我 们 不 加 证 明 的 给 出 。 注 意 到 它 需 要 偏 导 的 连 
续 性 。 


定理 7-13 如 果 式 (7-115) 中 的 偏 导 数 存 在 并 且 对 每 个 二 ts 二 :ET 都 是 连续 的 ， 自 相 
KX BIA Rxx (ti ste) 的 随机 过 程 六 (1) 在 :ET 时 具有 MS 导数 。 

考虑 一 个 泊 松 过 程 ， 自 相关 函数 为 式 (7-99)， 见 图 6-20。 可 以 非常 方便 的 应 
用 如 下 恒等式 ( 见 附录 E) 





min(t st ) = (1/2) (a + te =1 E = be |) (7-116) 
因此 ， 
Rxx (ti ste) — (A/2)(t, + t a | ty fq | ) +A tte (7-117) 
微分 得 到 : 

Rex (ntn) =(A/2)sgn(t, — t1) + Xt (7-118) 

1 
3. Rxx (ti ts) =Ad (tz — ti) 十 入 (7-119) 

Ot} Otz 


从 中 可 以 看 出 因为 狄 拉 克 人 6 函数 使 得 导数 在 ti 二 ts 二 t 处 不 存在 。 式 (7-118) 中 的 一 阶 导数 
由 图 7-15 给 出 。 泊 松 计 数 过 程 没有 MS 导数 。 





图 7-15 参数 4 二 1 的 泊 松 计数 过 程 的 自 相 关 函 数 的 导数 : 3Rxx (t1 ，zs) /34 < 
对 一 个 广义 平稳 的 过 程 ， 只 需 检测 r= 二 0 处 的 自 相 关 函 数 Rxx (z), 
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定理 7-14 广义 平稳 随机 过 程 X(t) 对 每 个 1ET 都 有 MS 导数 ， 当 且 仅 当 在 -=0 处 有 
“d*Rxx (r)/de 存在 。 


我 们 证 明定 理 的 充分 性 条 件 。 
证 明 : 为 了 证 明 式 (7-111)， 广 义 平稳 过 程 的 Rxx(r) 在 式 (7-112) 中 的 外 项 变 为 ; 
¿[(#9+e) 20) ]= (1/e2 )[2Ryx (0) — 2Rax (e1)] (7-120) 


用 式 (7-109) 中 二 阶 一 般 导 数 的 定义 和 Rxx (7) 为 偶 函 数 的 性 质 ， 我 们 得 到 以 下 在 z=0 
处 的 极限 值 : 


lim(1 /et )[2Rxx(0) — 2Rxx (e1)] =— £ E Ra (2) | =o =— Ri (0) 


类 似 的 ， 对 式 (7-113) 中 交叉 项 有 : 
¿[| (AG A) (Set A) | = ee) [Re eq) + Rxx (0) 
1 82 
— Rxx (ei1) — Rxx (ez) | (7-121) 
在 z=0 和 ===, 处 将 式 (7-108) 用 两 次 ， 得 到 
lim(1/eieÚ)[Rxx (ez — e1) — Rxx (gz) + Rxx (0) — Rxx (— 1) | 
下 一 


= (ie LR’ vee) + Rix 0] (7-122) 
其 中 
R' x (0) = ER ax (0) it (7-123) 
则 
lim — (1/62 )CR' xx (es) — R's (0)] =— Rex (0) (7-124) 


将 以 上 所 有 4 个 结果 联合 ， 得 到 
(XD Xt XO 
El E2 
= 2Rxx (0) — 2Rxx (0) = 0 (7-125) 

证 明 完 毕 。 

与 一 般 的 非 平 稳 情 况 不 同 ， 求 定理 7-14 中 的 二 阶 导 数 是 没有 问题 的 ， 它 给 出 了 充分 
必要 条 件 。 这 是 因为 Rxx(r) 是 一 个 只 有 一 个 变量 z 的 函数 ， 因 此 导数 只 需 从 rz 士 6 两 个 方 
向 检测 。 最 后 ， 注 意 到 由 于 Rxx (rz) 是 偶 函 数 ， 它 的 导数 是 个 奇 函 数 : 


ER xx Cr) = e cy (7-126) 
T dr 


因此 ， 如 果 上 式 存在 ， 则 R'xx (0) =0。 当 然 ， 这 并 不 意味 这 着 二 阶 导数 也 为 零 ， 因 为 
Rxx (7) 必 须 在 + 二 0- 被 代入 前 计算 。 | 
接 下 来 ， 由 于 X ( 切 是 一 个 随机 变量 ， 我 们 给 出 它 在 上 处 的 均值 的 表达 式 ， 


EX’ (2) ] =ef lim XG Le A | 


=lim(1/e) ELX(t+e) 一 XGO] = d eixo] (1-127) 


和 自 相 关 函 数 : 
Rex (hst) = lim ef 2X XE) XG Fer) — XC) 


€j +63 -0 €1€2 


= lim (1/e1e2)LRxx (ti +e slo + e>) + Rxx (ti sty) 
€ rez > 
ss gy Fe wig) — Rxx (ti slo +e) ], 


== Ey ——kRxx (ty st2) (7-128) 
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注意 最 后 一 个 表达 式 和 定理 7-13 中 用 来 确定 MS 导数 是 否 存 在 的 充分 条 件 的 相似 性 。 
上 文中 我 们 看 到 导数 过 程 的 自 相 关 函 数 是 初始 过 程 X(i) 的 自 相 关 函 数 的 二 阶 导数 ， 
Rxx (to tA (tst) 值 都 有 定义 。 定 理 陈述 了 Rxx (tit) 的 存在 以 及 对 所 有 ti =t 
二 :ET 都 是 连续 的 ， 这 意味 着 导数 过 程 的 功率 一 定 是 有 限 的 : 


Ryx (tet) = EL CX I < 00 (7-129) 
对 一 个 广义 平稳 过 程 ， 令 t 会 t, 一 而 (见习 题 7-19); 
Ree) =e has Rates == SR I Key (7-130) 
dr dr 
Rett oe aR.) = Se 505 2 ER (7-131) 
dr dr ` dr’ 


当 自 相关 函数 在 到 王妃 王 上 或 对 广义 平稳 的 情况 r* 王 0) 处 不 连续 ， 这 意味 着 MS 导数 不 
存在 ， 狄 拉克 ó 函数 可 以 用 来 代表 尺 xx (t ste) 的 导数 。 
对 随机 电报 信号 : 


Sp (x) 一 过 一 (7-132) 
dr dr 
2 
Ra) =4)* exp(— 2A |r|) — 4Aexp(— 2A |r | )6(%) (7-133) 
其 中 用 到 了 sgnz (rt) 二 1， 符 号 函数 的 导数 是 26(t)。 随 机 电报 信号 没有 MS 导数 ， 
图 7-12 非 常 清晰 地 说 明了 这 一 点 。 < 


定义 ( 均 方 积分 ) 随机 过 程 的 MS AS, AYG) af XG)dt Altos tJET, RL 
如 下 : 
t Nl 2 
lim ef (| XD — DX +nân)An) |= 0 (7-134) 


其 中 An 会 (i 一 )/N 是 积分 的 尺寸 ， 它 将 [t t] 进行 了 分 区 。 

定义 中 的 求 和 是 一 种 阶梯 近似 ， 就 如 对 非 随机 函数 ( 见 附录 D) 的 黎 曼 求 和 中 所 描述 的 
一 样 。 积 分 可 用 全 部 的 N 个 非 重 倒 的 矩形 面积 来 近似 ， 随 着 N 的 增长 ， 结 果 会 更 精确 : 
分 区 变 得 越 小 ， 和 矩形 越 接 近 函 数 。 观 察 到 Y(t) 在 1 时刻 是 一 个 随机 变量 ， 可 用 它 的 均值 和 
自 相 关 函 数 来 描述 ， 就 如 在 MS 导数 中 用 到 的 。 

为 了 标记 方便 ， 定义 式 (7-134) 中 求 和 项 如 下 : 


N 一 1 


Yu >) X(to tnAn)An (7-135) 
则 式 (7-134) 变 为 : 
lim €[(¥(t) —Yw)?] = 0 (7-136) 
由 于 MS 积分 Y(z) 可 能 是 未 知 的 ， 柯 西 准则 可 用 来 确定 MS 积分 是 否 存 在 : 
„dim ElYu— Ya] = 0 (7-137) 


它 可 以 写 为 X (t) BJ B 482 P£ 28 JJ zÑ , 
定理 7-15 BAK BRA Rxx (ti ,ts) ipat XO Æ [tost] E T ŁA MPAT 
在 ， 当 且 仅 当 f | Ruta, LIIITE E, 


证 明 : 由 柯 西 准则 得 到 式 (7-137) 的 交叉 项 为 : 
E[ywys] =€[ EX n) Atn XX At, ]= X) D Rax insta) Atn At, (7-138) 
等 式 的 右边 是 一 个 对 确定 函数 Rxx (4 ,ts) 的 积分 的 阶梯 近似 ， 则 取 极 限 得 到 : 
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jim €(¥u¥w] = f f Rxx (ti ste) dt dtz (7-139) 
考虑 乘积 中 的 一 个 外 项 : 


M M 
lim £[Yk,] = lim a EL DIX Cem) At 2 XG.) Ar, | 


Eb aes! ome ) At, At, 


S n=) n =ù 
J) xk ts dt dt, (7-140) 


同样 对 limEEYAx ] 有 类 似 的 结果 。 根据 式 (7- -137) 将 以 上 结果 联合 得 到 零 ， 证明 完毕 。 

由 于 式 (7- 140) 是 一 个 非 随 机 函数 的 双重 积分 ， 当 [;t] 有 限时 ，MS 积分 总 是 
存在 。 

定理 7-16 如 果 及 (1) 是 一 个 广义 平稳 过 程 ， 则 Rxx (th, ls) 二 Rxx (z), Zl. t]k 
X(t) MS 积分 存在 ， 当 且 仅 当下 式 存在 : 


中 区 ee eee (7-141) 


WEAR: 由 于 广义 平稳 过 程 的 自 相 关 函 数 只 依赖 于 唯一 一 个 变量 (时 间 间 隔 )， 我 们 引入 
以 下 的 变量 替换 ， 设 t+ 会 t; 一 1 ，a 会 ti 十 tz， 得 到 以 下 的 雅克 比 变 换 ( 见 附录 G): 
Ər/Ət, l Se/ ate —1 1): ` $ 
J = det) = detla ge So )= det ! 长 2 (7-142) 
则 da dt: = (1/ | J )drdx= 王 (17/2)drdace， 因 此 式 (7-140) 变 为 : 
Ki Ra (ty oto )dty de, =f ti Ra =i di, da 


ty V ty 


=| Ee (ridode (7-143) 


(rto) Ti w [D 


由 于 是 对 一 个 常数 内 部 积分 ， 表 达 式 可 简化 为 : 
f : Rex (ti sto) dt, dt; IU: KG amt br |r| YRxx (Tt) dr 


中- i—i — 2) Rex (ede (7-144) 
0 


其 中 最 后 一 个 表达 式 用 到 了 Rxx (z) E eR HE: , 

当 X(b) 为 广义 平稳 时 ，Rxx (ti 50.) 对 所 有 {ti ,ts} 呈现 相同 的 值 ， 可 标记 为 t=ts — t. 
如 图 7-16 所 示 ，Rxx (4 ,ts) 在 沿 着 相对 4 一 ts 轴 逆 时 针 旋 转 45" 的 直线 上 具有 相同 值 。 图 
中 Rxx (zt) 相当 于 任意 “薄片 ” 穿 过 Rxx (ti ,ti), 垂直 于 那些 具有 常数 相关 性 的 直线 ， 如 图 所 
示 。 观 察 到 在 求 导 中 (t 一 三 一 |z|) 是 [— G t) t — t] 上 一 个 三 角 函 数 。 初 始 的 积分 在 
[tot] X [ws 二 定义 的 正方 形 中 进行 。 由 于 Raxo) 沿 着 垂直 于 二 ts 的 直线 是 常数 ， 
积分 可 代 之 以 在 rE [D at) t= t] EHT. 但是， 为 了 得 到 相同 的 结果 ， 对 每 个 r， 
Rxx(r) 需 要 用 正方 形 中 旋转 直线 的 长 度 给 出 的 值 来 进行 加 权 。 如 图 中 所 见 ， 这 些 线 构成 了 

一 个 三 角形 ， 最 大 值 在 t=0 处, 在 rE [一 (一 三 ) 导 一 太 ] 外 则 为 零 。 三 角 加 权 只 是 一 个 对 
变量 变化 的 “加 工 ”"， 也 就 是 说 ， 除 了 Rxx(r) 只 依赖 于 一 个 变量 外 ,不 依赖 于 随机 过 程 
X(z) 的 任意 其 他 固有 特性 。 

Ra, TERS) MS 积分 是 一 个 随机 变量 ， 具 有 以 下 均值 ; 


¿[Í X(t |= | ELX(t) dt = | fy (t) dt (7-145) 
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沿 着 任意 旋转 轴 
Rxx(ti,t2) 为 常数 _ 


旋转 坐标 ; Br OFIt-t, 
对 PRxx(z) 积 分 ， 沿 着 c 轴 从 
~(t-f-Iel) Bt fold — 488 








雅克 比 提 供 了 -一 ed ane 
合适 的 比例 en) a L 
b) 
7-16 Rxx (ti, ASA. a) 初始 轴 显 示 了 4 一 ts 平面 上 的 直线 ,其 中 Rxx (6, t)=Rxax(zr)JE 
常数 ，b) 旋转 轴 ， 阴 影 三 角 范围 显示 了 积分 限 





— BE: 
el I. XGO)XCte)dndt |=| f £€[ X(+) X(t) Jdt dtz 
=| i Rxx (t; +t.) dt, dtz (7-146) 
方差 ; 
var[ f xwa |=e[ | 一 0 — py (te) de db, | 
一 ek Cxx (ti +t; )dt dt; (7-147) 
其 中 Cxx (ts QEXONAMDATHRR. "4 X(b) 为 广义 平稳 ， 这 些 方程 简化 为 : 
elf Xd |= 0 — tux (7-148) 
el| l XG dX didt ]=2| "G — 二 (7-149) 
varf | xar =f" Ut) < WOR ar (7-150) 
ty 0 


它们 是 间隔 i—i 的 函数 。 积 分 过 程 的 二 阶 和 矩 与 用 来 证 明 MS 积分 存在 的 表达 式 相 同 ， 也 
就 是 ， 式 (7246) 一 定 存在 。 


AMOR K B R E, Ca (r)=exp(—21|r|), B jk ER PHAY: 
var| f Xn)dr|= 1 (t— t) — r)exp(— 2A |+ | )d< 





= 2exp(— E vexp(2Av) du (7-151) 
我 们 去 掉 了 指数 变量 中 的 绝对 值 ， 将 变量 变 为 了 wv 会 1 一 to 一 tr。 积 分 用 分 部 积分 法 可 得 : 
i vexp(2av)dv = (u/2A)exp(2av) — (1/2a)*%exp(2av) 1) 5% 


=exp(2A(t — to )D[ (t — to )/2A — 1/44? ] + 1/42? (7-152) 
将 这 个 结果 代入 式 (7-151) 得 到 : 
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var| { X(x)dr |= (t — to) /A + (1/2a?) Lexp(— 2a(¢ —t)) —1] (7-153) 


“REO, BAM EMEA Rxx (z) =Cxx (z) , 

总 结 随机 微 积 分 的 结果 ,-MS 连 续 性 的 定义 和 随机 过 程 X(Ci) 在 zET 的 导数 需要 自 相 
X EA Rxx (hot) Æ t= t, = b Z 3£ # B fa *| $R TTA t 平面 的 任意 方向 趋 近 。 同 
样 ， 随 机 过 程 XO) [t t] LW MS 积分 需要 Rxx (ist) Æ [tot] X [tot] 上 的 双重 积分 
存在 。 就 如 在 附录 D 中 提 到 的 ， 关 于 积分 、 微 分 函数 的 背景 ， 都 是 连续 函数 的 一 个 子 集 ， 
连续 函数 是 可 积 函 数 的 一 个 子 集 。 这 些 关 系 也 用 在 了 之 前 的 MS 定义 中 ， 因 为 Rxx Gist) 
是 一 个 非 随机 函数 。 下 面 的 定理 将 详 述 这 些 结论 。 < 

定理 7-17” 对 E[X:(1)] 二 95 的 随机 过 程 久 (1); (i wRALECTH MS 导数 存在 ， 则 
X(t) fet 时 刻 是 MS 连续 的 ; (j )4e R XG) [L t] ET 上 是 MS 连续 的 ， 则 它 在 此 区 间 
上 存在 MS 积分 。 

证 明 : (i ) 重 写 MS 连续 的 定义 中 用 到 的 表达 式 : 


F: 2 
aX +e) =X = a| (ALTA ] (7-154) 


HT XO t HAA MS 导数 ， 上 式 右边 的 期 望 值 的 极限 存在 (是 有 限 的 )。 因 为 
lime 一 0， 得 到 : 


lime’ lim e| (AEF — XO)" = lime’ e[ 2919 XO)" - 0 (7-155) 


说 明 X (2) FE MS 连续 的 。( ii ) 由 习题 7-18 的 结果 , Rxx (ti ,ts) 对 所 有 St. tet 都 是 连 
续 的 ， 因 此 X(t) Ay MS 积分 存在 。 


7.7 微分 方程 


工程 中 许多 系统 都 用 常 系数 线性 DE 建 模 ， 以 描述 一 些 变量 (人 信号、 电压、 电流 等 ) 是 如 何 
随时 间 改 变 的 。 在 下 面 讨论 中 ， 为 了 方便 起 见 ， 我 们 给 出 一 个 简单 的 二 阶 RLC 电路 的 例子 。 
一 个 并 联 RLC 电路 (电阻 尺 ， 电 感 工 和 电容 C) 有 独立 的 电流 源 i, £t=0 
时 刻 接 入 电路 。 电 感 上 的 电流 可 用 以 下 二 阶 DE 来 建 模 : 


a; i 十 ai Silt) + aoi(t) = i ult) (7-156) 
其 中 系数 {Ao sa1 saz} 是 We La 的 函数 ， u(t) 是 单位 阶 跃 函数 。 图 Tall, 给 出 Ei 电路 图 ， 
从 中 可 以 得 到 : 





ae = LG ,ai — L/R,a, =] (7-157) 


u(t) 





< mia ( 零 状 态 ) 响应 
o 自然 ( 零 输入 ) 响应 


图 7-17 并 联 RLC 电路。 电流 源 i,， 它 在 t=0 时 刻 接 入 电路 ， 用 单位 阶 跃 函数 u(t) 表 示 < 
根据 系数 值 ， 式 (7-156) 的 解 可 为 以 下 三 种 形式 之 一 : 
过 阻尼 : i(t)= [cyexp(— ait) 十 czexp( 一 azt) + d ]]u(t) (7-158) 
KRE; i(t)= [(cicos(wat) + csin(wat))exp(— at) + d ]u(t) (7-159) 
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临界 阻尼 : i(t)= [ciexp(— at) + c:texp(— a:t) + d ]u (2) (7-160) 
其 中 {avai sar} 和 wa 是 {ao sai sa} 的 函数 ， {C1 9¢2} 是 常数 ， 由 电路 的 初始 条 件 
{i(0) ,i (0)) HE, d 是 稳 态 电流 ( 当 t20), HERB {ci ,c;) 的 值 对 这 三 种 情况 是 不 同 的 。 
通常 对 这 样 一 个 线性 系统 ， 又 加 定理 可 用 来 将 以 上 任意 表达 式 重 写 为 如 下 形式 : 
i(t) = ine (t) + ¿zn (t) (7-161) 
其 中 ing (2) BRA S (NR), ipa (1) AF383 CFR), EMS St A 66 5 AI 2 3k 
态 响应 。 将 式 (7-156) 的 右边 置 零 得 到 自然 响应 ， 从 而 得 到 齐 次 DE。 强 迫 响 应 忽略 因 储 能 
元 件 {LC} 导致 的 初始 条 件 ， 它 是 基于 下 文 描述 的 系统 的 冲 激 响 应 。 由 于 这 个 并 联 电路 有 
一 个 电流 源 ， 并 且 电 感 最 终 相 当 于 短 接 ， 我 们 得 到 所 有 三 种 情况 中 有 d= i. 这 是 当 指 数 
项 衰减 为 零 时 的 稳 态 电流 。 图 7-18 中 显示 了 三 种 类 型 的 响应 。 





图 7-18 ”并联 RLC 电路 响应 的 三 种 类 型 的 举例 


我 们 想 将 这 种 对 一 个 线性 系统 的 描述 扩展 运用 到 针对 随机 过 程 的 系统 。 考 虑 以 下 的 nn 
阶 线性 随机 DE: 
a EXOD Hari SAXO + +a EXO 十 ooXCD = Y(D (7-162) 
其 中 {ai} 是 常 系数 。 由 于 X(t) 和 Y(1) 是 随机 过 程 ， 我 们 不 知道 如 何 求 解 这 样 一 个 系统 ， 
因为 Y(t) 和 XX(?) 是 现实 的 总 体 。 但 是 ， 基 于 以 前 MS 导数 的 定义 ,假设 对 每 个 :ET， 上 
式 在 MS 意义 下 成 立 , 我们 可 以 确定 均值 和 相关 函数 是 如 何 随时 间 变 化 的 。 通 常 ,， n 阶 
DE 需要 nn 个 初始 条 件 ， 这 些 由 随机 变量 (X(t) X(t) ee XW (to)} 提供 ， 上 标 表示 
微分 的 阶 数 。 如 果 以 下 的 偏 导 存在 并 且 在 (tist) = (t,t) 处 连续 ， 扩 展 MS 导数 ，n BTS 
数 d" 久 (1)/dz" AX” (Et 时刻 在 MS 意义 下 存在 ， - 


aea -~ r 
Brag he (h t) [asym (7-163) 
由 于 DE 是 常 系数 线性 系统 ，Y(1) 可 看 做 是 一 个 线性 系统 的 输入 ， 输 出 为 XC), A 
一 个 系统 可 表示 如 下 : 
X(t) = XO + | at 一 DY(odr (7-164) 


其 中 h(t) BE AE BE BL PM» Xs. (FE H 322438 28 | 8 BJ PR , HB — 
项 是 强迫 响应 ， 我 们 记 为 Xrr (+) 。 卷 积 积 分 假设 在 MS 意义 下 存在 。 

我 们 强调 系统 本 身 是 非 随 机 的 : 假设 系数 (av } 是 常数 。 则 由 于 系统 是 线性 时 不 变 的 
(LTI)， 如 果 输 入 发 生 时 移 ， 冲 激 响 应 不 会 改变 。 自 然 响应 Xs. (zi) 可 用 初始 条 件 {X(to)， 
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XOLG) 5 XO? (gy) 表示 如 下 : 

Xs (t) = SS en (t) X™ (ty uct) (7-165) 
其 中 g, G) Fe X Cty) = 1 其 他 的 初始 条 件 为 零 时 系统 的 确定 响应 。 因 为 系统 是 线性 的 ， 
所 以 这 种 分 解 是 可 行 的 ， 可 以 应 用 到 加 定理 。 在 第 8 章 ， 我 们 将 这 些 结果 扩展 到 频 域 ， 用 


功率 谱 密 度 来 描述 一 个 随机 过 程 经 一 个 LTI 系统 滤波 后 输出 X(z) 的 自 相 关 函 数 与 输入 
Y(z) 的 自 相 关 函 数 的 关系 。 


Gee 之 前 的 例子 中 电路 在 确定 信号 输入 时 ， 对 齐 次 DE 的 过 阻尼 类 型 ， 古 一 0 的 





初始 条 件 与 系数 的 相互 类 系 如 下 : 
i(0) =e, +c, i(0) 三 一 aicl 一 azcs (7-166) 
因此 : 
cı =[ai (0) + i' (0) J/Caz — a) (7-167) 
cz =[— a i(0) — (0) ]/ (a; 一 ai) (7-168) 


其 中 对 齐 次 DE 的 解 为 4 二 0。( 理 论 上 ， 初 始 条 件 在 t= 二 01 时 刻 定义 ， 这 样 就 包括 了 t 二 0 时 
刻 的 任意 不 连续 ， 比 如 用 单位 阶 跃 函数 建 模 的 电流 源 。) 观 察 到 如 果 i(0) 二 1，i'(0) 二 0， 则 
c =a, laama), =al Ma) AR, 如 果 i(0)==0， #(0)=1, W| e =1/(a a), 
cz 一 一 1/(o 一 al)。 由 这 些 结果 ， 可 得 到 函数 : 
go(t) 一 [azexp( 一 aat) 一 alexp( 一 azt)]/ (a; 一 ai) (7-169) 
gi(t) =Lexp(— aıt) — exp(— azt) ]/ (a; — aı ) (7-170) 
分 别 用 i(0) 和 (0) 加 权 ， 在 式 (7-165) 中 给 出 了 自然 响应 : 
ing (t) =[1/(a; — a1) |(Li(O)@, + i! (0)Jexp(— ait) 
— [i(0)a +7’ (0) Jexp(— azt) ult) (7-171) < 
Wy í SEH B A Me y BJ eT SR, Be AT BE PR AY 200) A i (0), BARAER H 
伏 安 关系 如 下 : 


ic(t) = C u(t) = L (7-172) 


duc (t) di, (t) 
ae sa dt 
这 意味 着 we OM i (1) 不 会 发 生 跃 变 。 如 果 对 于 1: 二 0， 所 有 的 电压 、 电 流 都 为 零 ， 则 
i,(0)=0, vc(0)=0, H i(0)=0 和 i (0)= 二 0 二 wv.(0)= 二 0。 因 为 在 这 个 例题 中 初始 条 件 为 

零 ， 自 然 响应 ing (1) 二 0。 
通常 做 系统 分 析 时 ， 初 始 条 件 一 般 都 假设 为 零 ， 只 需 考 虑 用 系统 的 冲 激 响应 h(t) KH 


征 的 强迫 响应 。 传 递 函数 Hs) h DE 的 拉 普 拉 斯 变化 推导 得 到 


2 二 一 aS — — — —— — 一 
(Gazs Fars + ao) FCs) =, /s> Hs) = N le feel a (7-173) 
将 这 个 表达 式 重 写 为 : 
H(s) = l/a l/a, (7-174) 


s + (a /a,)s-+ a/as, 可 (s+ai)(s + az) 
其 中 laa) AAS HRA. AFR a =1, a=1/ma 以 及 ai 一 (ai 十 az )/aiasz。 
由 部 分 分 数 展 开 (PFE) ， 得 到 拉 普 拉 斯 反 变换 





A(t) = ras [exp(— ait) — exp(— azt) Ju(t) (7-175) 
2 1 
由 于 输入 为 一 个 阶 跃 函数 ， 强 迫 响应 可 简化 为 : 
im (t) = L| harde (7-176) 


代入 冲 激 响应 得 到 : 
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ind Kl re ta a (t= rdr JuCe) 
Q2 1 
— — Ll exp(— ait) Ju() — — a matt exp(— ant) Juct) 
2 
a Q? oI, 
=| —exp(— art) — SS Wy r 1, Ju (7-177) 
"PK 2, H 
由 于 iwr (t)=0, Be Das te 2-4 wa 。 这 个 表达 式 与 式 (7-158) 具 有 相同 的 形式 ， 因 此 : 
ci 一 一 al, ,C2 = aha e aja i, (7-178) 
Q2 — a1 a a 


显然 正如 预期 极限 limisa (1) =i, « 


如 果 例 .7-23 中 输入 是 一 个 随机 过 程 ， 则 会 得 到 同样 的 {g,, (zt)}， 因 为 它们 是 确定 的 。 
但 是 ， 自 然 响应 是 随机 的 ， 因 为 式 (7-165) 中 的 初始 条 件 是 随机 变量 。 正 如 之 前 提 到 的 ， 
线性 DE 的 导数 和 卷 积 积分 都 是 在 MS 意义 下 定义 的 。 

接 下 来 ， 我 们 给 出 用 DE 来 描述 的 随机 过 程 X(t) 的 均值 和 自 相 关 函 数 的 特征 。 我 们 将 
会 发 现 得 到 的 方程 与 之 前 电路 中 确定 信号 的 结果 有 些 类 似 。 式 (7-162) 中 DE 的 m 阶 均值 
函数 为 : 


pm a) Bef “xy |= efx] (7-179) 
dt dt” 
将 这 个 结果 应 用 到 整个 DE 得 到 
Zany y” O) =G) (7-180) 


为 了 解 这 个 方程 ， 需要 以 下 的 初始 条 件 { py ? CO) ste sp? (0) sy (0) } 。 交 换 求 导 和 求 
SHEA AYE. FREE AY Ae A: 
Ry (bi bb: =ELXG)YCQ,)] 


i al ` 9 
=E| XC) Da Ss X(t) |= >, S Re (ti ste) (7-181) 


m=0 


其 中 已 ， 所 人 0。 这 是 另 一 个 线性 DE, (H EP H. 4 > Kg mn E BIBLE 3 K iF. 5 
式 (7-162) 比 较 ， 我 们 看 到 对 任意 固定 的 二， 它 可 看 为 一 个 参数 ， 上 式 中 的 DE 是 一 个 t 
的 函数 。 同 样 可 以 写 为 : 


Ryy (ti pp), = Xa, Z Re (n T (7-182) 


它 是 一 个 去 之 0 的 函数 ， 以 t, Z= 0 为 参量 ， A- 182) 中 Ryy Gi ,tz) 的 答案 可 以 代入 
式 (7-181) 中 ， 这 样 给 定 初始 条 件 就 可 能 解 出 Rxx (ti ,ts)。 第 8 章 中 ， 我 们 将 证 明 用 传 里 叶 
和 拉 普 拉 斯 变换 求解 输入 和 输出 的 自 相关 函数 更 简单 。 例 7-24 给 出 了 一 个 示例 。 
考虑 以 下 二 阶 DE: 
ao X(t) +a, SX (1) +a Xr) = = Y(t) (7-183) 
对 于 t>>0,，Y(Cb) 是 一 个 零 均 值 过 程 ， 自 相关 函数 为 Rr(r) 三 SGr)。 假 设 laosa saz) 已 
选 定 ， 即 系统 为 过 阻尼 ， 由 式 (7-179) 观 察 得 到 ， 


2 
= PTRO) +a, TRO) + aop WY = (ty = "0 (7-184) 
是 一 个 非 受 迫 DE。 由 式 (7-158)(d 二 0)， 答案 具有 以 下 形式 : 
py (t) = [ciexp(— ait) + crexp(— a:t) lult) (7-185) 


其 中 {ci1 ,cs》 由 初始 条 件 {px (0) ,x (0) } 确定 ， lasa) 是 特征 方程 的 实数 根 ; 
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as Fars +a 一 0 (7-186) 
在 式 (7-184) 中 应 用 单 边 拉 普 拉 斯 变换 ， 代 入 初始 条 件 得 到 : 
ar py (5 一 CSx(0) — azp x (0) + ay spy (s) — aipy (0) + aopy(s) = 0 (7-187) 
由 部 分 分 数 展开 (PFE) 得 到 : 
px (s) = [asp x (0) + Cars + a1 py (0)J/(a, ° 十 as 十 ao) = me ee 
(7-188) 





由 拉 普 拉 斯 反 变化 得 到 : 
pelt) = ciexp(— at)ult) + crexp(— azt)u(t) (7-189) 
当然 ， 如 果 初 始 条 件 为 零 ， 则 对 上 之 0， 有 jx(t) 二 0。 对 非 零 初始 条 件 ， 假设 mi， a 二 
0, 则 px(t) 一 0。 因 此 ， 即 使 输入 Y(z) 广 义 平稳 ， 输出 义 (1) 也 不 是 广义 平稳 的 ， 因 为 均值 
为 时 变 的 。 但 是 ， 由 于 均值 是 收敛 的 ， 如 果 Rxx (ts) 一 Rxx (z), M| XOTE LFR 
的 。 这 种 非 平稳 是 因为 电流 源 I. 在 t= 二 0 时 刻 开 关 ， 而 且 在 {L,C 中 有 能 量 存储 (对 应 于 
非 零 初始 条 件 )。 < 
对 互相 关 函 数 ， 由 式 (7-182) 得 到 : 


d’ 9 
a; ər Rx (t y +a; at 


Rxy (ti »t2) + aoRxy (ti st2) = Ry (ti »t2) = (tı — te) 
(7-190) 
Hp, 20, EWER. KS} DE 的 解答 是 一 个 的 函数 ，ts 被 看 做 一 个 参数 。 
由 于 等 式 的 右边 是 狄 拉克 6 函数 ， 解 答 是 DE 代表 的 系统 的 冲 激 响应 函数 h(t 一 t,)。 它 是 
—4 1 的 函数 ， 向 右 移 动 了 ts AA S 函数 有 同样 的 偏 移 。 应 用 拉 普 拉 斯 变换 (只 对 厂 操 
作 ) 得 到 : 
a.s Rxy (sst2) —assRxy(0,t,) — aR’ xy (Oste) +a Ryy (Sst) 

— a, Ryy (05t,) +a Rxy (ssts) = exp(— stz) (7-191) 
其 中 用 到 了 拉 普 拉 斯 变换 的 偏 移 特性 得 到 等 式 右 边 的 结果 ( 见 附录 C)。 由 于 在 式 (7-191) 中 
假设 ts 是 固定 的 ， 可 用 以 下 导数 的 记号 指定 1 —=0 时 刻 的 初始 条 件 : 


R' xy (05t) Reh ote) | ,-0 (7-192) 
1 
则 : 

Ryxy (s5t2) = Lexp(— st2) +a,R'xy(0,t,) + Cars +a; )Rxy (0st2) J/Cazs* +ais +a) 

(7-193) 
假设 零 初 始 条 件 R'xy (0,t,) = Rxy (0;ts) = 0, 强迫 响应 的 拉 普 拉 斯 变换 为 : 

:Se C3 C4 a 3: 

Rxy(s,t, = exp( aAa a (7 194) 





其 中 {ci ,G4) 与 求 均值 yy OESR E. A A E R: 
Ry (tist) = [czexp(— a (ti — te) Hcrexp(— a (tı — tz)) Ju(t) — tz) (7-195) 
它 是 一 个 时 间 差 4 一 t; 的 函数 。 但 是 ,注意 到 这 是 一 个 互相 关 函 数 ， 它 并 不 意味 着 
X(2) 是 广义 平稳 的 ; 我 们 需要 推导 Rxx (t) 的 表达 式 来 确定 平稳 性 。 对 固定 的 t, 
Ry (ti ,ts) 是 一 个 下 WERA, RA n> WIER, 并且 在 RR+ 上 是 指数 衰减 到 零 ， 如 
图 7-19a 所 示 。 对 固定 的 所 ， 函 数 可 被 看 做 一 个 在 LO.) 区 间 指 数 增长 的 函数 。 当 要 计算 
式 (7-181) 中 的 DE 时 ,通常 采用 后 一 种 观点 ，DE 变 为 : 


2 


a; SR (h vtz) +a, 2 Rex (t tz) + ao Rxx (t st2) = Ryy (ty ste) (7-196) 
2 2 


对 这 个 二 阶 的 例子 , Rxy (ti ,ts) 是 式 (7-195) 中 的 解答 。 由 于 被 看 做 一 个 参数 ， 这 个 方程 
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描述 了 对 每 个 刀 值 Rxx (4 sta) 如 何 随 i 改变 。 假 设 有 零 初始 条 件 ， 由 拉 普 拉 斯 变换 可 得 到 
以 下 的 强迫 响应 : 
Rx (ñ s) = Rey Gi ys)/[a;,s" Eais +a, |] = Re (t D erar aia + “waq. (7-197) 
其 中 (cssc) 与 之 前 的 系数 都 不 同 ， 尽 管 极 点 {a1 yaz } 与 之 前 相同 (它们 给 出 了 DE 的 特征 ， 
与 初始 条 件 无 关 )。 式 (7-197) 右 边 的 输入 Rxy (ti ss) 是 Rxy (ti ,ts) KF te 的 拉 普 拉 斯 变换 。 
如 果 不 做 变换 ， 我 们 将 式 (7-195) 与 式 (7-197) 中 的 系统 的 冲 激 响 应 卷 积 ， 系 统 冲 激 响 应 为 : 
h(t.) = [e;exp(— aitz) + csexp(— arts) Ju (t; ) (7-198) 





卷 积 为 : 
Rex (2; ste) =| Rwla st)h(t, 一 cdr 
a 


mintr, sta) 
=f ae c3¢5exp(— a; (tı — tr) exp(— a; (t; — r)) dr 
0 
mintr, t3) 
| C3Cs Exp(— a, (tı — tr) exp(— az (t; — r)) dr 
0 


min( t, sty) 
+] cyciexp( 一 az (ti — tr) exp(— ai (tz — t) ) dr 


0 


mi (t +p) 
+Í i c c exp(— a: (ti — r)exp(— az (t: — r)) dr (7-199) 


0 


其 中 阶 牙 函数 确定 了 每 个 积分 的 上 限 。 第 一 项 为 : 
cscieXp( 一 ai (tı + tz) ‘ate i r)dr 


= Za [Lexp(—a | ty — Ée | ) s exp(— a, (hy + te)) ] (7-200) 


其 中 用 到 了 minti, t) =0/2)ti tt: — | tit |)。 可 将 以 上 结果 中 的 cscs 替换 为 ccs 
ai 替换 为 a, 就 可 以 得 到 第 四 项 。 第 二 和 第 三 项 比较 复杂 些 ， 但 和 其 他 两 项 具有 相同 的 基 
本 形式 : 一 是 为 | 一 tz | 的 函数 ， 另 一 个 是 Ae 的 加 权 和 (见习 题 7-22)。 因 此 ， 我 们 发 
HRE X(t) 是 非 平稳 的 , 4 A, >ot, 它 是 渐进 广义 平稳 的 ; 


C4C6 


2a2 


Rxx (t + t )— 2a XPC Ql | ty — $3 | ) 十 





exp(— a | — t, |) 


CsCs 十 cyc5 
al 十 az 
中 只 有 | 一 右 | 的 指数 项 被 保留 了 (例如 含有 十 ts 项 的 都 趋 于 零 了 )。 由 图 7-19b Alc 
中 的 例子 可 以 很 清晰 的 看 出 非 平稳 性 ,我们 看 到 当 4 =t = HM Me ESRI, 
Rxx (t) ,tz) 发 生 了 变化 。 
fil 7-24 要 复杂 些 ， 因 为 相关 函数 有 两 个 变量 (hst) 在 第 8 章 ， 我 们 将 关注 广义 平 
稳 随 机 过 程 ， 它 们 的 相关 函数 是 单一 变量 = 的 函数 。 这 将 简化 以 上 的 分 析 ， 由 DE 建 模 的 
线性 系统 的 特性 就 更 容易 用 功率 谱 密度 (PSD) 在 频 域 中 分 析 。 分 析 类 似 于 对 确定 信号 的 分 
Hr. 但 此 处 的 “信号 “是 一 个 随机 过 程 的 均值 和 相关 函数 。 
最 后 ， 我 们 提 到 式 (7-162) 中 的 DE 可 以 扩展 为 包括 输入 的 导数 ， 如 下 所 示 : 


exp(— (a; +a) |ti — tz | /2) (7-201) 


>a. Txa) = X. T Ya) (7-202) 


之 前 所 有 的 结果 都 可 以 扩展 运用 到 这 里 。 就 如 在 DE 描述 确定 信号 中 所 做 的 ， 用 拉 普 
拉 斯 变换 得 到 s 域 中 对 应 的 表达 式 。 对 式 (7-202) 中 的 一 般 的 DE， 转 移 函 数 是 具有 常 系数 
ñ s 中 的 两 个 多 项 式 的 比值 : CE s 的 一 个 有 理 函 数 。 
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t 
c) 


图 7-19 例 7-24 中 的 相关 函数 。a) TAKAR Rxy (t,ts) ; b) B 28682 Rxx (0 st); c) X Mti = 
ta =t WJ ÄH HK PR 2 R xy (h sta) 


7.8 差分 方程 


对 一 个 用 以 下 线性 差分 方程 表征 的 离散 时 间 系 统 ， 随 机 序列 YLkj] 经 过 这 个 系统 后 可 
推导 得 到 相同 的 结果 : 


De. X[k—m] = yn Y[k—m] (7-203) 
得 到 输出 XL]. 取 期 望 值得 到 以 下 有 关 均值 的 方程 
xa. H [Ë — m] = Xa Lk — ml _ (7-204) 
也 可 直接 生成 各 种 相关 函数 的 类 似 的 方程， 
de Rx [ki — mks] =>. Ryx [ki =m ke] (7-205) 
de. Ri [bi —m, &]= D4 Ry [Ëi — mskz] (7-206) 


其 中 随机 序列 不 一 定 需 要 广 义 平稳 。 第 一 个 方程 通过 用 式 (7- 203) 的 入 IREF k GB, 

RU X[k; ]， 再 取 期 望 值 。 第 二 个 方程 用 同样 的 方法 得 到 ， 但 这 里 是 乘 以 YLAz ] 。 aa 
分 方程 可 用 之 前 DE 例子 中 用 到 的 类 似 的 方法 来 分 析 ， 但 此 处 是 用 = 变换 而 不 是 拉 普 拉 斯 
变换 。 我 们 将 这 个 讨论 延 到 第 8 章 ， 在 那里 我 们 将 关注 广义 平稳 信号 ， 尽 管 例 7-24 中 考虑 
的 是 一 个 一 阶 的 例子 。 
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7.9 新 息 和 均 方 预测 


在 7.10 节 和 7.11 节 ， 我 们 将 为 给 定 过 去 的 输出 可 以 对 未 来 输出 进行 预测 的 随机 序列 
建 模 。 在 许多 工程 问题 中 ， 我 们 感 兴趣 的 是 可 以 用 以 下 式 子 建 模 或 分 解 的 随机 序列 : 
Y[k] = X[k] + W[k] (7-207) 
其 中 ET，X[kj 是 感 兴趣 的 一 个 随机 信号 ，W[Lkj] 是 一 个 “噪声 ”过 程 。 通 常 假设 W[L&j 为 
一 个 不 相关 零 均 值 的 高 斯 序列 ， 这 种 情况 被 称 为 加 性 高 斯 白 噪 声 (AWGN)。 在 这 个 模型 
中 ,我 们 通常 只 能 得 到 Y[k]， 有 时 被 称 为 测量 序列 ， 我 们 的 目标 是 估计 或 预测 XLk]。 在 
通信 系统 中 ，X[kj 是 传输 信号 ，W[Lkj] 是 接收 机 品 声 (由 传输 介质 、 接 收 放 大 器 等 产生 )， 
Y[A] 是 接收 信号 。 在 后 续 章 节 中 ， 我 们 将 给 出 用 来 估计 X[k] 的 各 种 技术 和 算法 。 这 里 ， 
我 们 关注 的 是 重新 将 Y[k] 写 为 一 个 可 预测 部 分 和 一 个 被 称 为 “新 息 ” 的 不 可 预测 部 分 。 新 
Be X[kj] 中 的 “新 的 信息 ”， 它 不 能 用 过 去 的 输出 估计 。 尽 管 新 息 可 用 一 个 连续 时 间 的 随 
机 过 程 定义 ， 但 我 们 只 描述 它 为 一 个 离散 时 间 随 机 序列 。 如 果 这 个 随机 序列 由 时 间 索 引 的 
随机 变量 是 非 独 立 的 ， 则 序列 具有 可 预测 部 分 。 
定义 (随机 序列 的 可 预测 部 分 ) 条 件 均值 
Xus[k] &ELX[k]| XLo], +, X[k — 1] (7-208) 
定义 为 X[k] 的 MS 可 预测 部 分 。 
随机 变量 Xvws[&] 可 看 做 是 X[k] 基 于 之 前 样本 {X[0],…;X[k 一 1]) 对 k 时 刻 值 的 估 
计 。 如 果 过 程 是 独立 的 ，X[kj] 的 估计 正好 是 它 的 均值 ELXL&]]]， 它 一 般 是 已 知 的 或 可 被 估 
计 的 。 如 果 过 程 不 是 独立 的 ， 则 式 (7-208) 是 条 件 变量 的 一 个 确定 函数 : 对 {XL0],*…， 
XLk— 1]} 的 特定 值 (Tot mato 我 们 可 计算 出 式 (7-208) 中 XmsLkj 的 值 。 
回顾 第 5 章 ， 条 件 均值 是 最 小 MS 误差 (MMSE) 估 计 ， 对 这 种 情况 MSE 为 : 
£[LCX[E] ~ei XLo], = XLR — 1])52] (7-209) 
gO ) 是 上 面 提 到 的 确定 函数 ， 用 来 由 之 前 所 有 样本 估计 当前 的 样本 。 对 特定 的 条 件 值 ， 
条 件 均值 计算 如 下 : 
ELXLR]| XLO] S2031 X[k—1] = x] 


co 


=|" Laf xt | X[0],-.,X[£—1J (=, |z | day, = g(xXo | A ye 87 | ) (7-210) 


通常 需要 随机 序列 个 时 刻 的 联合 pdf。 如 果 序 列 正好 为 马尔 可 夫 序 列 ， 条 件 均 值 简 
化 为 ELX[k]|X[0],，…，X[k 一 1]] 二 ELX[&]| X[k 一 1]]， 而 且 


ELX[k]| X[k—1] = xz] afi Lef xt) | xt] (ay lzi )dzy 


- Gra] Eyf xu HI] (Tro Ti dary (7-211) 
1 kl 一 co 


因此 只 需要 随机 序列 在 & 一 1 和 时 刻 的 二 维 pdf。 这 是 可 直接 得 到 的 : 对 一 个 马尔 可 夫 过 
程 ， 只 需要 最 近 样 本 X[k 一 1] 的 信息 ， 这 意味 着 预测 只 需要 X[k 一 1] 和 X[ k 的 联合 pdf. 
如 果 序 列 不 是 马尔 可 夫 的 ， 我 们 仍 可 以 用 式 (7-211), 但 是 它 被 称 为 一 步 预 测 器 ， 因 为 它 
只 基于 最 近 样 本 对 当前 样本 的 估计 ， 不 像 式 (7-208) 需 要 之 前 所 有 样本 。 

设 X[k] 是 一 个 高 斯 序列 ， 参 数 为 常数 (assay). 假设 它 是 一 个 马尔 可 夫 序 
列 ， 则 我 们 只 需 三 维 pdf: 
1 


1 w 
fxua.xt—u (Th za) = exp (一 20;(1— 2 


2rox V 1 — p° 
` [Cate = px)? = 2p(z, — py) (za — py) + Coa — nx) ]) (7-212) 
Hb p AEX] -u Xk] py) Vo 是 它 的 相关 系数 。 将 这 个 联合 pdf Ë D k—1 时 刻 的 
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边缘 paf, 得 到 以 下 的 条 件 pdf: 
Src A CTT) 一 


1 ba 1 
Jx (tH) Z= | 21 — p) 


fx | ay Gik |Z) = 


人 (Cy — py i = i 20( x iy MGs =p) + (Eia — Hx y] 
+ =a) 


1 1 ; 
ME EE Za- =Q] 十 O)Ax — pcr] ) (7-213) 
最 后 一 个 结果 可 由 配 平方 得 到 。 由 于 条 件 pdf 是 均值 为 pnitUt+pyp, 的 高 斯 型 ， 条 件 均值 为 : 
Xu [k] = eX[k-1]+ 1+ puy (7-214) 
它 是 高 斯 -马尔 可 夫 序 列 的 可 预测 部 分 。 观 察 到 XmsLk] 是 最 近 样 本 X[k 一 1] 的 一 个 线性 
函数 ， 它 是 高 斯 序列 的 一 个 特征 : 条 件 均值 估计 器 是 线性 的 (实际 上 ， 上 面 的 结果 是 近 
似 ， 因 为 它 包括 了 ux 相 加 常数 项 )。 如 果 过 程 是 不 相关 的 ， 即 p 二 0， 预测 器 是 一 个 由 序 
列 的 均值 给 定 的 常数 。 < 
再 回 到 一 般 的 分 解 问 题 ， 此 处 的 预测 器 是 基于 所 有 过 去 的 样本 {X[0],… ,X[k 一 1]})， 
如 果 序 列 是 独立 的 ， 则 


Xus[k] = ELX[k]] = py (7-215) 
这 个 问题 中 X[kj 的 条 件 均 值 估 计 得 到 的 是 它 的 均值 ， 正 如 上 面 提 到 的 : {X[0],…， 
X[k 一 1]} 没有 提供 关于 X[kj] 的 任何 信息 。 一 个 非 相 关 的 高 斯 序列 (p= 二 0) 也 是 一 个 独立 序 
列 。 但 是 ， 对 一 般 的 随机 序列 ， 得 到 式 (7-215) 中 的 结果 并 不 需要 独立 性 的 条 件 ， 我 们 可 
以 给 出 如 下 条 件 。 
定义 ( 均 方 不 可 预测 性 ) 随机 序列 XIE MS 不 可 预测 的 ， 如 果 
ELXLR]| XLO], , X[k—11] = £g[ X[#]] (7-216) 
MS 不 可 预测 性 是 一 个 比 独立 性 弱 的 条 件 ， 但 比 不 相关 强 。 这 点 通过 检查 联合 期 望 
E[X[L0],… ,X[k 一 1],X[k]] 就 很 容易 证 明 。 如 果 X[k]áe (X[0],:: X[k —1]) 是 不 相关 
的 (或 独立 的 )， 则 期 望 值 分 解 为 ， 
£€£[X(0],---, X[k — 1], X[k]] 三 ELXLO……,X[E 一 1]] ELX[L] (7-217) 
这 个 结果 也 可 通过 式 (7-216) 得 到 ， 如 下 所 示 : 
ELXLO], -+s XLk— 1], X[#]] =£[X[0],--- , X[k = 1],ELX[k] | XLo], , X[k — 11113 
=éE€[X[0],.…, X[k—1J,g[X[k]1] 
=€£[X[0],---, X[k— 1]] £g[ X[#]] (7-218) 
第 一 个 等 式 永远 成 立 ( 谋 套 期 望 )， 第 二 个 等 式 源 于 式 (7-216) 中 的 条 件 。 最 后 一 个 表 
达 式 ELX(R)] 被 放 到 求 期 望 算 子 的 外 面 ， 因 为 内 部 期 望 值 是 一 个 常数 : 它 不 依赖 于 外 部 期 
望 的 任意 值 。 由 最 后 的 结果 ， 式 (7-216) 意 味 着 X[k] fe {X[0],…,X[k 一 1]) 是 不 相关 的 ; 
但 是 不 相关 并 不 意味 着 式 (7-216) 。 独 立 总 是 意味 着 式 (7-216)， 但 是 反 过 来 通常 不 成 立 。 
为 方便 起 见 ， 我 们 将 随机 序列 XLR] 的 期 望 值 的 几 个 特性 总 结 在 表 7-4 中 。 


表 7-4 随机 序列 XLk] 的 期 望 值 的 特性 








期 望 值 的 结果 
£[X[k—11x[k]J]=z#[X[#—11]e[XLk]] 





不 相关 





正 交 ELXLk—1]X[k]]=0 
均 方 不 可 预测 ELXLk] | XLk—11]= ELXLk]] 
一 阶 马 尔 可 夫 ELX[Lk] | XCe—1], X[k—2]]=ELXLt]| XC—1]] 


$ ELXTk]| X[#£—1J]= x[#—1] 
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给 定 Xws[LA] 是 XLA] 在 条 件 均值 下 的 可 预测 部 分 ， 这 意味 着 有 一 个 不 可 预测 部 分 ， 我 
们 称 之 为 新 息 。 
定义 (新 息 ) ”随机 序列 XR ORB VIS 
VIRI AXLE] — Xus[ k] (7-219) 
它 是 X[kj] 中 新 的 信息 ， 由 随机 序列 以 前 的 样本 无 法 实现 MS 可 预测 。 
观察 到 对 于 A 之 0， 以 之 前 的 样本 为 条 件 的 VLA] 的 期 望 值 是 零 : 
ELV (k]| XCO], X[k — 1J] =ELCX[k]| XLO],.…, XLk—1]] 
一 ELXws[LA]|XLO = X[k —1]] 
二 we [| = XusLk ] = 0 (7-220) 
由 于 Xms[kj 已 经 是 以 之 前 的 样本 为 条 件 了 ,第 二 个 具有 同样 条 件 的 期 望 值 再 次 给 出 
了 Xus[k]， 因 为 它 在 第 二 个 条 件 期 望 下 基本 上 是 一 个 常数 。 对 上 二 0,，V[k] 的 均值 也 是 零 : 
EL[VLk]] =ELX[R]] — ELXmsLk]] 
=£[X[k]]—#[#£[X[k]| X(0],---,XLk —1]]] 


=€[X[#]]— ECX[k]] = 0 (7-221) 
Jer UCAS Ti. A. KC 7-220) AIK (7-221): 
E[VLk]| XL0],-++,XLk—1]] = ELV[k]] = 0 (7-222) 


因此 VLA le XLA] 的 MS 不 可 预测 部 分 。 而 且 ， 可 以 证 明 V[Lkj] 本 身 就 是 MS 不 可 预测 的 。 
定理 7-18 ”随机 序列 X[k] 的 新 息 VLkj] 是 MS 不 可 预测 的 : 


£[V[k]J| V[o],:::,V[k —1]] = ELVCA]] (7-223) 
证 明 : 这 个 结果 可 通过 证 明 下 式 得 到 : 
g€[V[#]|V[o],-:,V[# —1]] = é[V[k]| X[0],.…, XLk—1]] (7-224) 


因为 我 们 已 经 证 明了 等 式 右边 是 ELVL&]]。 由 新 息 的 定义 得 到 ，: 
V[k—1]=X[#—1]—#£[X[k—1J]| XLO]; +", X[# — 2]] 


V[1] =X[1]—#L[x[1]| XL0j] 
V[0] = x[0] (7-225) 
这 些 表达 式 是 新 息 序列 定义 的 方式 。 由 于 新 息 可 被 表示 为 (Xl XL — 1]) 的 一 
个 函数 ， 可 以 用 条 件 期 望 的 平滑 特性 ( 见 第 5 章 ) 得 到 下 式 : 
g[V[kJ| XCO], X[k — 1]] =ELELVLk]| X[0].---,XLk—1]]|VL0],-+ ,V[£—111] 
=€£[V[k]|V[0],--: ,V[E£ —1]] (7-226) 
#— + £ KR S R p E — TREME., 第 二 个 等 式 成 立 是 因为 (Vo 
Vik—1]} 是 由 {X[0],…,X[k 一 1]} 得 到 的 ， 这 意味 着 它们 具有 一 个 粗糙 c 一 域 。 因 此 ， 
基于 (X[0],::,X[E —1J) 的 条 件 可 和 忽略， 证 明 完 毕 。 
定理 7-19 新 息 V[k] 与 MS 可 预测 部 分 Xws[R] 是 正 交 的 : 
ELXusLkJVIR]]=.0 (7-227) 
证 明 : 代入 V[Lkj] 的 定义 得 到 : | 
ELXws[A]CXLR] — Xu s[k])] = ELXusLkI XLRI] — £[ Xus[k]] (7-228) 
观察 可 得 ， 
ELXuuslk]] =ELXuslk] ELXLR]| XLO], , X[ £ — 1]]] 
=#£[£[Xvss[#]X[£]| XLO0], ,X[k— 1J]] = £g[Xus[kJX(E]] (7-229) 
式 (7-227) 得 出 结果 为 零 。 第 三 个 等 式 成 立 是 因为 Xuslk]Æ {XL0],…: ,X[k 一 1]} 的 函数 ， 
可 以 被 放 到 求 期 望 算 子 中 ， 在 求 期 望 运 算 中 考虑 到 条 件 ( 在 第 5 章 中 被 称 为 因 式 分 解 特 
性 )， 则 它 是 一 个 常数 。 最 后 一 个 表达 式 成 立 是 因为 嵌 套 期 望 的 特性 。 
由 之 前 的 讨论 ， 我 们 看 到 一 个 随机 序列 可 被 分 解 为 一 个 可 预测 部 分 Xu s[ k] CE MS 意 
义 下 ) 和 新 息 V[k](MS 不 可 预测 部 分 ) 的 和 ， 如 下 所 示 : 
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X[k] = XusLkJ+VLR] (7-230) 
因此 随机 序列 由 一 个 基本 “信号 ?和 一 个 加 性 “噪声 ”序列 组 成 。 这 个 模型 意味 着 我 们 可 
以 将 初始 序列 的 任何 一 个 部 分 看 做 系统 的 输出 (系统 不 一 定 必须 是 线性 的 )。 图 7-20 给 出 
了 可 预测 部 分 和 新 息 是 如 何 由 XLA] 产 生 的 框图 。 
1 1 -1 
X[K] z z XI0] r 










E[X[KJ|X[0],....XATk-1]) 
可 预测 部 分 


新 息 

图 7-20 产生 随机 序列 X[&] 的 可 预测 部 分 Xws[k] 和 新 息 VLk] 的 系统 框图 。 系 统 e[X[&] | X[k 一 1],…， 
X[0]] 是 {X[k 一 1],…,X[0]) 的 一 个 函数 (并 不 包括 X[k])。 因 为 假设 序列 是 广义 平稳 的 ， 系 
统 可 能 是 非 线 性 的 , 但 是 是 时 不 变 的 


R 对 例 7-25 中 的 高 斯 -马尔 可 夫 序 列 ， 新 息 序列 为 ， 
VER] = X[k] — pX[k—1] — (1 + ouy (7-231) 
可 以 直接 得 到 这 个 结果 : 从 X[kj] 中 减 去 从 XLR 一 1] 预 测 的 部 分 就 是 新 息 序 列 。 预 测 
的 “可 信和 度 ” 由 相关 系数 op 大 小 决定 。 还 减 掉 了 一 个 包括 均值 的 表达 式 ， 因 为 均值 是 已 知 和 
“可 预测 的 "。 特 别 注意 到 如 果 p 三 0， 则 过 程 没有 可 预测 部 分 ， 新 息 序列 等 于 初始 序列 减 去 
均值 。 图 7-21 证 明了 由 XX[] 得 到 V[k] 的 离散 时 间 线 性 滤波 器 的 实现 过 程 以 及 逆 过 程 (其 
F, 为 了 方便 ， 假 设 yx 二 0)。 观 察 到 产生 VLk] 的 滤波 器 是 有 限 冲 激 响应 (FIR)， 而 产生 
X[k] 的 是 一 个 无 限 冲 激 响 应 (IIR)。IIR 滤波 器 有 一 个 极点 在 op， 而 且 是 稳定 的 ， 因 为 
lp| 志 1( 理 论 上 ， 如 果 |p| 二 1， 这 个 滤波 器 只 是 边缘 稳定 的 )。 





XIA] z"! X[k-1] Vik XI 
2) 
vik] p XIk-1] 
1 
FIR: H(z) = 1-pz-1 IIR: H(z) = : 
1-pz 
a) b) x 


图 7-21 产生 例 7-26 中 序列 的 滤波 器 ,其 中 px 二 0。a) 新 息 序列 V[kJ; b) 初始 序列 X[k] — < 
7-22 是 高 斯 -马尔 可 夫 过 程 的 现实 的 例子 以 及 它 的 新 息 。 这 个 序列 的 产生 过 程 如 下 : 


X[k] = X[k — 1] + W[#] (7-232) 
其 中 W[&j 是 一 个 零 均值 、 单 位 方差 的 不 相关 高 斯 序列 。 这 个 表达 式 可 写 为 以 下 非 递归 形式 ，: 
X[k] = Š WEk— n] (7-233) 


因此 Ax 一 0， H: 
o = > var[o"W[k —n]] = SJ) eo" var[W[k —n]] 


n=0 


k 
=e" =11-e ila za (7-234) 
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25 25 
20 20 
15 15 
10 10 
M 5 z5 
Şo £ 0 
= -5| 
-10 -10 
-15 -15 
-20 -20 
ay 500 1000 1500 z0 2 500 1000 1500 2000 
a) b) 





500 





1 in 1500 2000 
c) 


FA 7-22 7-26 的 现实 ， 其 中 p=0.99, py =0. a) 一 个 高 斯 -马尔 可 夫 序列 X[ 杂 的 现实 ; b) 一 步 预测 
Xus[] 的 现实 ; c) 新 息 V[A]( 注 意 新 息 幅 值 比例 尺 的 变化 ) 


由 于 序列 从 k=0 就 开始 ,方差 是 时 变 的 ， 因 此 XL 人 是 非 平稳 的 。 但 是 ， 当 k— co 
时 ， 它 是 渐进 平稳 的 ， 并 且 具 有 渐进 方差 二 1/(1 一 pg)。 为 了 在 仿真 中 可 用 ， 我 们 假 
设 在 三 到 五 个 系统 时 间 常 数 后 输出 是 平稳 的 ， 对 于 单 极点 的 滤波 器 时 间 常 数 大 约 为 rs 
1/(1 一 p)。 上 式 的 方差 为 o 伟 50.25( 通 常 ， 以 WL] 为 比例 更 方便 ,这样 X[kj] 为 单位 
方差 ) 。 观 察 到 图 中 的 一 步 预测 序列 很 难 与 初始 序列 分 开 ， 因 为 XwsLk] 二 0.99X[k 一 1] 
只 是 XL&] 的 一 个 展 缩 和 偏 移 。 男 一 方面 ， 因 为 VLkj] 的 MS 不 可 预测 性 ， 新 息 序 列 中 有 
噪声 的 身影 。 


7.10 杜 布 - 迈 耶 分 解 


接 下 来 ， 我 们 给 出 随机 序列 X[k] 的 另 一 种 分 解 方法 ， 它 看 起 来 像 是 新 息 分 解法 的 一 
个 改良 。 这 种 分 解 方法 也 是 式 (7-230) 中 的 加 法 运算 ， 但 是 分 量 序列 具有 与 Xvws[k] 和 VL&k] 
不 同 的 特性 ， 尽 管 它们 彼此 相关 ， 稍 后 会 证 明 这 点 。 通 过 检测 差 值 X[kj] 一 X[k 一 1]， 我 
们 发 现 被 分 解 的 X[kj 的 一 个 分 量 是 一 个 凌 序 列 。 

定理 7-20( 杜 布 - 迈 耶 ) kEZ+，E[|X[k]|] 二 co 的 随机 序列 可 唯一 表示 为 以 下 两 个 
序列 之 和 ; 

X[k] = XpmLk] + ELk] (7-235) 

其 中 X, [AIX MS 可 预测 序列 ，E[k] 是 一 个 凌 。 

注意 到 杜 布 - 迈 耶 (DMD) 可 预测 部 分 Xo [kj 与 基于 新 息 分 解 的 Xws[LA] 是 不 同 的 。( 尽 
管 我 们 将 式 (7-235) 看 做 DM 分 解 ， 实 际 更 精确 的 描述 应 该 是 对 离散 时 间 序 列 的 杜 布 分 解 。 
杜 布 - 迈 耶 是 对 应 于 连续 时 间 过 程 的 分 解 方法 ) 
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证 明 : 我 们 先 用 以 下 的 符号 来 定义 增 量 序列 : 


AX[k] & X[k] — X[k—1] (7-236) 
给 定 (X[0],-:, XE 1]) 后 增 量 序列 的 DM 可 预测 部 分 是 以 下 的 条 件 均值 : 
AX [k] SELAX[R]| X0]; + X[k — 17] (7-237) 
由 此 可 定义 误差 序列 : ` 
AE[k] 2AX[k] 一 AXow[A] (7-238) 


注意 到 新 息 分 解法 中 {Xvs[Lk]，V[k]} 和 DM 分 解 中 {AXpw [Lk]，AE[Lkj]} 的 相似 性 。 
因为 DM 可 预测 部 分 AXpw[k] 是 为 AXLA] 定 义 的 (而 不 是 X[k])，AE[kj] 也 与 新 息 不 同 
〈 稍 后 我 们 将 证 明 它 不 是 所 有 新 息 之 和 ) 。 

观察 得 : 


X[k] = SlaX[m] (7-239) 


Fy m=k—1 时 增 量 中 除了 XCAR. (BR X[ 一 1] 一 0。 同 样 ， 以 下 基 
于 增 量 的 序列 定义 为 ， 


X. [k] & >) AXomEm],ELk] 2 >) AE[m] (7-240) 
因此 
X[k] = Xwm[k] + ELk] (7-241) 


这 就 是 我 们 需要 的 分 解 。 我 们 强调 Xow[A] 是 由 式 (7-237) 中 的 条 件 均 值 定 义 的 X[ k ] 85 n] 
预测 部 分 。 假 设 Xow[0]=0， 因 为 对 &<- 0 有 X[k] 二 0， 则 没有 更 早 的 样本 能 够 预测 X[L0]。 
因此 ，E[0]= 二 X[0]， 对 有 二 0， 有 E[k]=0. 
式 (7-241) 是 DM 分 解 : Xov[LA] 是 序列 的 MS 可 预测 部 分 (用 AX[k] 的 表达 式 定义 )， 
E[LA] 是 一 个 蒜 序 列 ， 我 们 现在 来 证 明 。 观 察 式 (7-238) ， 
ELAE[k]| [LX[0],*…, X[k—1]] =ELAX[k]— AXpou [Lk]| XLo], =+, X[k— 11] 
=AXpuLk] — AXpu le] = 0 (7-242) 
其 中 用 到 了 AX; LA JEW {X[0],… ,X[k 一 1]) 为 条 件 定义 的 ， 并 且 不 会 因为 取 期 望 值 而 
发 生 改 变 的 事实 。 由 于 {ELO],… ,ELR 一 1]) 是 {XL0],…,X[k 一 1]) 的 函数 ,它们 是 基于 
一 个 航向 ec- 域 ， 因 此 由 之 前 的 期 望 算 子 的 平滑 特性 : 
ECAELR] | XCO], +, X[k—1]] =£[£[AE[k]| X(0],-+,XCA—1]]| EL0],-,ELk — 111] 
=€£[AE[E]| ELO], ++, ELk— 1]] (7-243) 
代入 增 量 中 的 项 得 到 : 
ELAELR] | E[0],--- ,E[k —1]] =€LELk] — ELk — 13 | E[0],--- ,E[k —4]] 
=€£[E[kJ| EL0], ++, ELk — 1]] — E[# — 1] (7-244) 
从 式 (7-242) 和 式 (7-243) 得 到 等 式 左边 为 零 ， 我 们 最 终 可 得 ; 
ELELk||E[LO0],*…,E[k—1]]= ELk— 1] (7-245) 
证 明 E[k |£ — 4 #h , 
EPR. FNS MBA DM 分 解 的 相互 关系 。 由 AXp [kj] 和 AE[k] 的 定义 ， 我们 
得 到 : 
AX [E] =£#[X[#]| X[0], +, X[k — 1]] —£[X[k — 1]| XLo], +, X[# —1]] 
=Xuslk] — X[k —1] (7-246) 
其 中 Xvs[k] 是 新 息 分 解 中 的 MS 可 预测 部 分 。 将 这 个 结果 与 式 (7-238) 联 合 可 得 : 
AE[A] =X[k]— X[k —1] — (Xu [z] — X[k —1]) 
= X[k] — Xus[k] = V[#] (7-247) 
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这 是 新 息 。 因 此 ，DM TROND ERB a 息 HEN: 
E[k] = DaECm] = Z VEn] (7-248) 
这 两 类 序列 分 解 的 各 种 分 量 在 图 7- 23 中 进行 了 总 结 。 


新 息 





。 序列 X[k] 
° 均 方 预测 Xms[K] 


图 7-23 X[k] 的 MS 预测 样本 Xvs[k]， 新 息 VLk] 以 及 DM 分 解 的 著 分 量 ELA] 
由 于 E[k] 是 所 有 新 息 之 和 ， 我 们 可 以 用 一 种 比 以 前 的 证 明 更 直接 的 方法 来 证 明 它 是 
一 个 英 。 代 人 新 息 的 和 : 
ELE[k]|E[0],*…,E(k—1]]= 5 £€[V[m]| EL0],---,ELk—1]] (7-249) 
将 第 上 项 分 开 得 到 : ii 
EEL IELO]; =, ELR 17] = > #[V[m]| ELO], ---, ELk — 1]] 


+£[V[EJ| E[0],--:, ECk — 11] = Elk — 1J(7-250) 
等 式 右边 第 一 项 是 希望 的 结果 ELk 一 1]， 因 为 它 包 括 在 条 件 中 ; 第 二 项 为 零 ， 因 为 
{EL[0j,…,E[k 一 1]} 只 依赖 于 新 息 样 本 {VL0],…;V[Lk 一 1]) 到 时 刻 & 一 1， 它 是 MS 不 可 
预测 的 ， 均 值 为 零 。 
最 后 ， 通 过 以 前 的 结果 ， 我 们 来 看 DM rinqa, BORA Re 


X[k] = Xs [k] + ELk] = DS aXoulml 一 SV[m] 


m=0 


= Xx. [m] 一 xm] 十 PvEm] (7-251) 
从 第 一 个 和 第 三 个 求 和 项 中 分 出 m=k 页 ， 得 到 : 
X[k] = Xus[k] + V[k] + z (Xus[m] — X[m] +Vim) (7-252) 


这 就 是 我 们 希望 的 结果 ， 因 为 Vim]. Xtm]— XusLmj]， 因 此 最 后 一 个 求 和 项 为 零 。 
D RRA RA 7-26， 我 们 计算 wx 二 0 的 高 斯 -马尔 可 夫 序 列 的 DM 分 解 。 可 预 





XpuLk J = 2 Xus[m] E >) X[m] 


Dyr 1]— 3) Xim] = SCp— X[m] (7-253) 
RAR: 
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k—1 
E(k] = X[k] — >) (e — 1) X[m] (7-254) 
m= 0 
也 可 将 式 (7-231) 中 新 息 (px 一 0) 求 和 : xA = = "a a 


E[k] = >) X[m] —pX[m —1]) 






=x[k] + X) X{m]— p>) Xim- 11 


(7-255) < 

改变 最 后 一 个 求 和 项 中 的 变量 可 得 到 

式 (7-254) 中 的 结果 。 7-24 给 出 了 DM 分 
解 的 框图 ， 显 示 了 DM 可 预测 部 分 和 款 分 量 
是 怎样 产生 的 。 图 7-25 4 H T Xo [k] 和， 图 7-24 产生 例 7-27 中 wx 二 0 的 序列 的 滤波 


可 预测 部 分 
Xom [Al 


ELA] 的 现实 的 例子 ， 与 图 7-20 中 的 原始 序列 器 。a) 可 预测 部 分 Xow [E]; b) BREF 
以 及 它 的 新 息 进 行 比较 。 列 ELk] 
25 
20 30 
18 20 
10 
5 10 
23 £ * 
-10 
-10 
= 起 -20 
= -30 
a) b) 
30 
20 
10 
go 
-10 
-20 
-30 
0 500 oe 1500 2000 


c) 


7-25 i 7-27 中 p=0.99, py =O 时 的 现实 。a) 高 斯 -马尔 可 夫 序 列 XA IMMA, b) 杜 布 - 近 耶 可 预 
测 部 分 Xo [E]; (c) 杜 布 - 迈 耶 蒜 部 分 ELR] 


7.11 卡 胡 内 - 列 维 展开 


在 最 后 一 节 ， 我 们 回 到 对 连续 时 间 随 机 过 程 的 讨论 中 ， 描 述 一 个 由 正 交 函数 的 加 权 和 
来 实现 的 分 解 ， 它 被 称 为 卡 胡 内 - 列 维 展开 (KLE)。 
定理 7-21( 卡 胡 内 - 列 维 ) 设 和 (iD) 是 一 个 零 均 值 随机 过 程 ， 自 相关 函数 为 定义 在 有 限 
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Ki) T = [0,T] 上 的 函数 Rxx (t ,ts)。 它 可 以 做 如 下 分 解 ; 


X(t) = SIX. (7-256) 
其 中 随机 变量 {X,} 按 如 下 方法 产生 a 
f X, = | xogo (7-257) 
(G) 523 mik, WR, | 
| Re k. G, yaki make a € T (7-258) 


其 特征 值 为 {A,)。 

式 (7-256) 中 的 和 与 式 (7-257) 中 的 积分 都 在 MS 意义 下 定义 ， 而 最 后 一 个 积分 项 是 基 
于 确定 函数 乘积 。 式 (7-258) 中 的 自 相 关 函 数 也 被 称 为 积分 方程 的 核 。 

WEAR: 设 式 (7-256) 中 N 个 元 素 的 和 为 有 限 值 ， 则 它 为 一 个 序列 。 对 MS WA, RiT 
me: 


lim €[ (XC) — 9) X,9,(0)* J= o (7-259) 
将 期 望 运算 展开 得 到 : 
E| (XW — 入 Xig,(D) =e C2)] 2 £[ XG X, ]$, (2) 


N N 


+ 2) >; ELXAX m J$. (DPn (2) (7-260) 


将 式 (7-257) 代 入 等 式 右边 第 一 项， ”” 
ELX(DX,] = | ELX()X (te) hy (tz dt = [Ra (152), (ty )dte = An, (t) (7-261) 
其 中 用 到 了 式 (7-258)。 同 样 对 式 (7-260) 中 的 最 后 一 项 : 
ELX,X,] lal, ELX DX (to) Jh, (ti Yhn (te dts dtz 


TIT 
=| | kŠ (t, stg) $e ü yé (ty dey dts 


SEAC Jh, hy ) dt = And Lm PR n] (7-262) 
其 中 我 们 用 到 了 特征 函数 的 正 交 特性 : 
| = 6[m—n] (7-263) 


REY KE ó 函数 。 证 明了 KLE 中 的 随机 变量 是 正 交 的 。 将 以 上 所 有 结果 联合 ， 
式 (7-260) 变 为 : 


N N N N 
E[ (XD — 3) Xb.) )° ERa G, — 2) 0,82 十 DA Lm — nh, G) $, (O 
n=] 1 


n=] n=] m= 


=Ryx (t,t) _ Sy a.82 (0) (7-264) 
其 中 ó 函数 将 二 重 求 和 减 为 一 个 ， 然 后 又 被 中 间 一 项 减 去 。 设 Noo; 
Rxx (t,t) — lim 272800 = 0 (7-265) 


得 到 式 (7-259) 。 最 后 的 结果 是 由 以 下 的 Mercer 定理 导出 的 (其 中 t= =t). 
注意 , Rxx (t,t) Z Rxx (0), 除非 XG) EU LFR: 对 非 平稳 过 程 X(t)， 这 两 个 时 
间 变 量 必须 明确 的 给 出 。 
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定理 7-22(Mercer) 随机 过 程 X(Ci) 的 自 相 关 函 数 可 做 如 下 分 解 : 
Ryx (th te) = S A) (tr) Bq Cte) (7-266) 


n=1 


HEP (A, } Fo ($b, 2) ) PH ZAZA SMH KLE 的 特征 值 和 特征 函数 。 
证 明 : 将 式 (7-256) 代 入 得 到 


ELX(t,) X(t.) = >) D>) ELX,X $. (tr be (te) 


n=l] m=1 


= >) J A,.dLm — nJ$, (t )$, (te) (7-267) 


n=] m=1 


用 式 (7-262) 中 的 5 函数 的 结论 消去 对 m 的 求 和 ， 得 到 式 (7-266) 。 

观察 可 知 KLE 与 矩阵 的 特征 分 解 类 似 ( 见 附录 G) 。 与 矩阵 不 同 的 是 ， 式 (7-258) 中 的 
自 相关 函数 决定 了 特征 函数 的 类 型 。 图 7-26 给 出 了 分 解 的 框图 。 在 第 10 章 ， 我们 会 发 现 
这 个 结构 与 匹配 滤波 接收 机 类 似 。 


非 随机 特征 函数 






Xx 


随机 变量 — poi t) 


X(t) 
随机 过 程 


7-26 “随机 过 程 Xz) 用 由 随机 变量 {X, } 加 权 的 特征 函数 { 吕 (2)} 表 示 的 KLECnE N) 
考虑 一 个 自 相关 函数 为 Rxx (ti st) 二 cmin(t1,ts) 的 维 纳 过 程 ， 其 中 c= ae 
见 表 6-4)。 假 设 XG £ T = [0,T] 区 间 定 义 ， 式 (7-258) 给 出 ， 
T h T 
:| i = ef to$, (Jdt +ef tib, aydi = Ap.) (7-268) 


其 路 ET。 用 解 微 积分 方程 的 方法 (比如 在 二 阶 RLC 电路 中 用 到 的 方法 )， 对 这 个 表达 式 
TT EE aC E, 由 链 微分 法 和 莱 布 尼 茨 法 则 ( 见 附 录 正 ) : 


sel ata (fe) dt, tip E (7-269) 
3 =f Ë ? 
š. t$, (ta)dt, =— t $, (tı) +| $C)de (7-270) 
对 式 (7-268) 微 分 ， 代 入 这 些 表 达 式 得 到 一 abe ani ges 它 定义 了 特征 函数 ; 
a & yasa 3; a G) (7-271) 
很 容易 再 对 进行 二 次 微分 ， 得 到 二 eer 
hla — (c/)A, é$, (t, ) (7-272) 
1 
单 边 拉 普 拉 斯 变换 为 : 
s O, (s) — #, (0) — #', (0) =— (c/A,)@, (s) (7-273) 


假设 零 初 始 条 件 ， 特 征 方程 为 : 
十 c/An = 0 (7-274) 
如 果 自 相关 怎 阵 是 正定 的 (PD)， 则 ) 盖 0( 见 习题 7-28)， 国 此 特征 方程 的 根 为 一 
j /c/A.Cc2>20), AEH: 
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$, (t) = asint /c/),) + a;cos(t /c/À, ) (7-275) 
由 多 (0) 王 0， 得 到 a,=0, X, 的 解 由 以 下 在 :一代 时 刻 的 条 件 得 到 : 
¢'.(T) = 0=a, /ce/)A,cos(T /c/A,) = 0 (7-276) 


这 意味 着 T Yc/X 为 x/2 的 奇数 倍 。 对 于 n€ N: 

T /ce/), = (2n—1)2/2>>d, = 4cT?/(2n— 1)? x? = c-T2/(n—1/2)22 (7-277) 
将 这 个 结果 代入 式 (7-275) 得 到 : 

p, (t) = a,sin((n— 1/2) xt/T) (7-278) 
为 了 特征 函数 具有 单位 能 量 ， 最 直接 的 方法 就 是 证 明 a = /2/T, W 7-27a t EHT 
前 三 个 特征 函数 。 注 意 到 对 任意 TOO, # [0, T] 上 得 到 同样 的 波形 ， 尽 管 振幅 随 着 下 增 
长 而 衰减 ， 因 此 函数 保持 单位 能 量 。 在 图 7-27b 中 ， 我 们 用 -Mercer 准则 给 出 了 求 和 项 中 
N=1 和 6 时 Rxx (t,t) 二 ELX*(1)] 的 近似 值 。 对 c= 二 1]， 注 意 到 Rex (t,t) 二 min(t;t) = t £ 
线性 的 ， 则 它 的 近似 值 是 非常 精确 的 ， 因 为 求 和 项 中 只 有 几 项 。 因 为 和 式 中 每 个 特征 函数 

的 边界 条 件 ， 曲 线 的 导数 在 上 一 0 # T M 3 2, 
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图 7-27 T=1 时 例 7-28 W KLE, a) Rxx (h , ts) 的 特征 函数 的 例子 ; b) 用 Mercer 准则 中 有 限 项 的 和 的 
Rxx (t,t) 近似 < 


通常 很 难 导出 特征 函数 {6(z)} 的 表达 式 ， 常 需要 采用 数值 解法 。 在 例 7-29 h, 我们 
证 明 即 使 对 一 个 相对 简单 的 随机 过 程 这 也 是 比较 困难 的 任务 。 
GERD 考虑 以 下 定义 在 [0,T] 上 的 随机 过 程 : 


M 
X(t) = >) Angn(t) (7-279) 


Hele, (四 ) 是 确定 函数 。X(t) 中 唯一 的 随机 量 是 随机 变量 {A,)， 我 们 假设 其 均值 为 零 ， 
具有 有 了 腿 方差 {o%)。 当 随机 变量 独立 时 ， 自 相关 函数 为 ; 


M 
Rix (tr st2) = or pn ge Cte) (7-280) 
m= 1 
由 积分 方程 ， 
M T 
>| gm(ti) gm (t, By (1, ) dz, = AnPn GQ) (7-281) 


1 


我 们 得 到 特征 函数 依赖 于 {& (zi)} 的 特定 形式 。 推 导 中 关键 步骤 是 将 g, (6 ) 从 积分 中 提出 
来 ， 然 后 用 等 式 左边 的 其 他 项 关于 二 独立 这 个 事实 得 到 ， 


M T M 
Dogna f Bin (to, (ti) dz, = N baga Gti? (7-282) 
m=1 m=) 
其 中 
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T 
Dara Soif Bm (te), (t) dt, (7-283) 


尽管 需要 特征 函数 来 给 出 (bnn) 的 特定 值 ， 我 们 看 到 通过 将 式 (7-282) 5 X(7-281) 的 
右边 画 等 号 ， 得 到 特征 函数 是 {gw(z))} 的 线性 组 合 ; 


$i (t= > cas ga CE) (7-284) 
其 中 cs 全 b,,/A,。 如 果 要 继续 运算 ， 还 需要 关于 {g(1)} 的 更 多 信息 。 例如， 我 们 可 以 通 
过 适当 的 调整 方差 来 使 它们 具有 单位 能 量 | gC) dt 一 1。 更 重要 的 是 ， 我 们 需要 确定 互相 


[en es Ode, 它 会 直接 影响 XC) 的 现实 和 式 (7-280) 中 自 相关 候 阵 的 特性 。 通 常 对 这 


个 例子 不 可 能 推导 出 {cwi) 闭合 形 式 的 表达 式 ; 实际 上 ， 对 M 二 2， 解 不 是 唯一 的 
(Ludeman，2003)。 第 10 章 的 数字 通信 中 ， 我们 将 给 出 一 个 类 似 于 KLE 的 扩展 ， 称 做 
Gram-Schmidt 正 交 化 ， 可 用 于 确定 性 信和 号， 类 似 于 本 例 中 的 {g,(t)}) 函 数 。 正 交 化 使 发 射 
波形 的 表示 更 方便 ， 由 此 可 能 推导 出 在 噪声 信道 中 信号 的 最 优 检测 器 。 < 

在 最 后 一 个 例题 中 ， 我 们 将 给 出 随机 过 程 的 傅 里 叶 级 数 展开 与 KLE 的 区 别 。 

假设 随机 过 程 六 (1) 是 广义 平稳 的 和 MS 周期 的 ， 则 

EEX — XG — T))2] = 2Rxx (0) — 2Ryxx (T) = 0 (7-285) 
对 这 种 情况 ，X(i) 是 周期 平稳 的 ( 见 第 6 3), *| DL K 3 3 — 4 8 E + Z 2 


X(t) = >) X,exp(j2xnt/T) (7-286) 


n=—: 


其 中 {X,} 是 随机 变量 : 


f 
ye 于 | X(Oexpt— zm Tide (7-287) 


以 上 的 求 和 与 积分 都 是 在 MS 意义 下 定义 的 。 注 意 到 这 个 展开 式 与 KLE 类 比 有 以 下 
KA: (i) {8,(z)} 被 复 指数 取代 了 ; (i ) 求 和 扩展 到 了 对 所 有 nEZ。KLE 假设 X(t1) 只 在 
OT] 上 存在 。 如 果 我 们 设想 这 个 过 程 以 代为 周期 重复 ， 则 式 (7-285) 成 立 就 能 推导 出 其 
全 里 叶 级 数 表达 式 。 由 于 Rxx(z) 是 以 代为 周期 的 (见习 题 7-33),， 它 也 能 用 傅 里 叶 级 数 
展开 。 


Rie) = >) reexp(j2nne/T) (7-288) 
传 里 叶 级 数 的 系数 ; 
T 
r, = +| ,RenDexp( 一 j2ror/T)dr (7-289) 
这 个 积分 方程 与 KLE 的 式 (7-258) 类 似 。 用 类 似 于 KLE 中 的 导数 方法 ， 可 以 证 明 
XG) HH E TRKE MS 意义 下 存在 (见习 题 7-34) 。 < 
习题 
随机 收敛 (c)X3[k, C]=exp(tk), S=[—1, 1] 
7-1 确定 以 下 哪个 随机 序列 收敛 : C i ) 必 然 收 7-3 假设 X[k&j 依 概率 收敛 于 常数 a，Y[Lkj] 依 概率 
SM, C ii ) 几 乎 必然 。 收敛 于 常数 b。 由 定义 证 明 XLkj] 十 YLkj] 依 概 
(a)X,[k, CJ=C(k—-1)/k, S=[0, 1] 率 收敛 于 ato, 


(X[k, C]=  1/OG(k—1)/k, S=[0, ) — 7-4 证 明 对 于 m>n, L" KARRE L KA, 
(ce)X,[Ë, C]=sin(2atk), S=[—1, 1] š 

7-2 确定 以 下 哪个 随机 序列 依 MS in , 7S RYLel—p' IX] 其 中 X[k] 是 一 个 独立 
(a)X,[k, C]=t/k, S=[0, 1]. 同 分 布 伯 努 利 序列 ， 参 数 为 p。 确 定 这 个 序 
(X[k, (J=tG@—1)/k, S=[0, 1] 列 是 否 对 X[k] 的 以 下 输出 几乎 必然 收敛 ; 
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7-6 


(a) {— 1,1} ; (b) {0,1}. 


对 [A 一 >X m yuy, 证 明 以 下 
结论 : 

Ka)X[ 妇 十 Y[ 妇 X+Y; 

(b)lim£[ X[A]¥LATI=ELXY). 


m. s. 





大 数 定理 


7-7 


7-8 
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证 明 对 一 个 输出 为 (0,11, 参数 为 p 的 独立 同 
分 布 伯 努 利 序列 弱 大 数 定理 成 立 。 

É XLA 是 一 个 独立 同 分 布 序列 ， 弱 大 数 定理 对 
其 成 立 。 确 定 弱 大 数 定理 也 可 应 用 于 Y[kj]= 
EXD. HP gi ) 为 一 个 无 记忆 函数 。 
假设 弱 大 数 定理 的 条 件 放松 到 XLAJ] 不 是 一 个 
独立 的 序列 。 对 于 自 协 方差 函数 Cxx [m] = 
exp(—|m|)(m€Z), WE (7-42) PAE 
性 是 否 仍 有 效 。 


中 心 极限 定理 


7-10 


连续 、 
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设 X[k] 为 一 个 独立 同 分 布 指数 随机 变量 序 
列 ， 参 数 A 二 1， 定 义 求 和 项 Y[k] 会 (1/k) 
立 X[m] 计 算 以 下 概率 ， 用 ( | )Y[4] 的 确定 
分 布 (ii ) 基 于 CLT 的 一 个 高 斯 近似 。 
(a)P(Y[5]>222); (b)P(1<Y[10]<2). 
重复 习题 7-10 的 问题 ， 对 参数 p=3/4 的 伯 
努 利 随机 变量 ， 计 算 以 下 概率 。 
(a)P(Y[3]<2); (b)P(1<Y[4]J<2), 

对 二 元 对 称 信道 (BSC)( 见 第 2 章 )， 设 一 比 
特 的 误差 概率 为 p. 二 0.01。 如 果 500bit 通 
过 这 个 信道 传输 ， 用 CLT 来 计算 大 于 5 个 
错误 的 概率 。 

推导 在 CLT 的 证 明 中 用 到 的 式 (7-57) 中 的 
变换 结论 。 

考虑 一 个 参数 a 二 10 的 泊 松 随机 变量 Y。 认 
识 到 这 个 分 布 可 通过 将 10 个 独立 同 分 布 随 
机 变量 求 和 来 得 到 ， 我们 可 以 应 用 CLT 和 
式 (4-17) 中 的 结论 ， 用 高 斯 近似 求 P(Y28). 
导数 和 积分 

设 义 (2) 二 w(t) 一 w(t 一 T)， 其 中 (是 单位 
Bree ewe. T EfE [1,2] 上 均匀 分 布 的 随机 
变量 。 确 定 XORBE MS 连续 的 。 
假设 对 T 王 及 ， 有 X(O= tcos(2xfot)， 其 中 
fo 是 一 个 常数 频率 ,上 ES = [一 1,1] 是 均 
匀 分 布 。 确 定 X(t) 是 否 : (a) 依 概率 1 连 
续 ; (b)MS 连续 。 

证 明 MS 导数 X (5) 与 广义 平稳 过 程 X(CD 不 
相关 。 

证 明 如 果 XC.) RE CE TM MS 连续 的 ， 
则 Rxx G st) 对 所 有 tio t: ET 是 连续 函数 。 
4 XO)" SOP RAT. HES MS 导数 在 式 (7-130) 
和 式 (7-131) 中 的 相关 结果 。 


7-20 


7-21 


7-22 
7-23 


确定 以 下 的 随机 过 程 是 否 具 有 MS 导数 和 
MS 积分 : YO BAK PR 

Ry (z) = 1=¢， |r| € [0,1] 
确定 习题 7-15 中 的 X(t) 是 否 具有 MS 导数 
和 MS 积分 。 
计算 例 7-24 中 Rxx Ch sta) 的 导数 。 
与 例 7-22 中 方法 类 似 ， 推 导 以 下 一 阶 DE 
的 Rxy (ti sto) 和 Ryx (t ste) 的 表达 式 : 
ay Ex Ww +aXO=Y) 


Rt t>0, Ry (rt) =8(r) 


(7-290) 
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7-24 


7-25 


7-26 


考虑 以 下 一 阶 差分 方程 ; 
X[k]+0.5X[k—1]=Y[k] (7-291) 

设 Riy[m]=à[#], MM Y[kj] 是 零 均值 不 相关 

序列 。 假 设 差分 方程 具有 零 初 始 条 件 ， 用 

= 变换 求 以 下 表达 式 ， Ca) Rxy [kis k. ]; 

(b)Rxx [ki ，Az]。 

设 零 均值 马尔 可 夫 序 列 X[k] 具 有 以 下 条 

件 pdf: 

Ja | xu (=[k]|=[#—1J 


1 
= exp(— (2[k] —az°* [k — 1])’/20) 
V 2no* 





(7-292) 
其 中 ac 二 0。 求 : 
(a) MS 可 预测 部 分 Xms[k] = [XER] | 
SARS E£ 
(b)DM 可 预测 部 分 AXom Lk] =#[ X[ k] — 
X[k—1] | X[0],*, X[k — 11] 
对 式 (6-160) 中 定义 的 二 项 式 计数 序列 
X[k]. R DM 可 预测 部 分 AXou [Lk] 并 给 出 
分 解 X[k]= Xo [kj 十 E[k] 中 的 各 分 量 值 。 


卡 胡 内 - 列 维 展开 


7-27 


7-28 


7-29 


7-30 


设 X(t) AK BW Rxx (ti t) = 
o 6(ts — ti ) , BE BJ TE E IE 20 FF TE PE n| HJ 
FX) KLE, 

式 (7-258) 中 积分 方程 的 核 是 PD， 如 果 


| hs )Ryxx (ty ste) gC te) dt, dt, > 0 


(7-293) 
对 任意 在 [0,T] 上 的 gC) A0 成 立 。 用 此 结 
果 来 证 明 KLE 的 特征 值 (4,) 为 正 数 。 
用 Mercer 定理 求 以 下 积分 式 用 特征 值 来 表 
示 的 表达 式 


T TT 
f Rxx addef. P Rix (tı yt ) dt, dtz 
(7-294) 
对 以 下 自 相关 函 数 ;: 
Rxx (ti + tz) = 2+ sin(2rti/ T)sin(2xt; / T) 
(7-295) 


7-31 


7-32 


进 一 


用 Mercer E BH OOK 4% (F (Ë (A, } A F TE PR 

数 { 办 (2))。 

求 定义 在 [0，T]J 上 的 广义 平稳 随机 过 程 X(z) 

的 KLE，X(z) 的 自 相关 函数 为 : 

Rxx (7) = T— |e] 
重复 习题 7-31 的 问题 ， 随 机 过 程 为 : 
X(t) = acos(2nf.t+) (7-297) 

其 中 (a, f.) 是 非 随 机 的 , © CE [一 rr] 上 

均匀 分 布 。 

设 X(7) 为 一 个 零 均 值 广义 平稳 的 随机 过 程 ; 

Cz MS 周期 的 ， 周 期 为 T。 证 明 自 相关 函 

数 是 具有 同 周期 工 的 周期 量 。 

(a) 证 明 一 个 MS 周期 随机 过 程 的 傅 里 叶 级 
数 展开 在 MS 意义 下 存在 。KLE 中 用 过 
的 方法 也 可 以 用 在 这 里 ， 除 了 {X,) 是 复 
数 ， 因 为 是 复 指数 。 

(b)üEBH£[ X,X; =r eLm n]. 


(7-296) 


步 阅读 


本 章 的 材料 在 第 3 章 结束 部 分 的 几 本 参考 书 中 有 
进一步 地 探讨 。 在 以 下 参考 书 中 可 以 找到 对 一 些 
特定 问题 的 讨论 ， 随 机 运算 : Gardner (1990), 
Larson 和 Shubert(1979), Parzen(1962), Stark 和 
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仿真 作业 


7-35 


7:37 


É X[kj] 是 一 个 独立 同 分 布 随机 序列 ， 具 有 
贝塔 分 布 ， 参 数 为 a= p= 1/200 WR EK 
534i). FA MATLAB 计算 式 (7-55) 中 Y[LA] 
的 pdf 曲线 ,证明 随 着 上 的 增长 ， 它 趋 近 高 
斯 pdf。 由 于 本 题 中 样本 均值 不 具有 闭合 形 
式 的 pdf， 对 每 个 & 用 卷 积 ， 包 括 式 (7-55) 
中 平移 和 展 缩 。 

用 MATLAB 生成 例 7-27 中 类 似 于 图 7-25 中 
DM 分解 的 曲线 图 。 设 az =O, M p= 10.9 
时 可 预测 部 分 Xow Lk | ABR ECRM. 

用 Mercer 定理 的 有 限 和 ， 画 维 纳 过 程 的 自 
相关 函数 Rxx (t,ts) 的 近似 图 形 。 用 
meshgrid 和 mesh 画 这 个 函数 的 三 维 图 ， 说 
明 它 们 接近 图 6-27 中 的 真实 结果 。 注 意 
图 7-27 中 显示 的 例 7-28 中 的 自 相 关 函 数 的 
近似 图 只 沿 着 二 = 二 t 这 条 直线 。 


Woods(2002)。 杜 布 - 迈 耶 分 解 : Doob(1953)， 
Larson 和 Shubert (1979)。 卡 胡 内 = 列 维 展开 : 
Helstrom(1995), Ludeman( 2003), Schonhoff 和 
Giordana(2006), Van Trees(1968) 。 
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第 岛 章 
系统 、 品 声 和 谐 估计 


8.1 515 


本 章 主要 考虑 加 性 噪声 消除 、 通 信 信 道 失 真 补偿 等 为 特定 滤波 目的 而 设计 的 系统 。 一 般 
而 言 我 们 采用 线性 时 不 变 (Linear Time Invariant，LTD 系 统 ， 它 们 可 通过 剖 激 响应 函数 hC) 
或 相应 的 传输 函数 互 (w) 摘 述 。 这 些 系 统 也 可 以 用 常 系数 线性 微分 方程 (Differential Equation, 
DE) 表 示 ， 因 此 它们 由 信号 的 微分 或 积分 运算 构成 。 第 7 章 研究 了 均 方 (Mean Square, MS) 
意义 下 随机 过 程 的 微分 、 积 分 的 定义 ， 进 而 得 到 了 自 相 关 函 数 Rxx (4 ,ts)。 表 8-1 总 结 了 均 方 
的 连续 性 、 导 数 和 积分 ; 也 包括 广义 平稳 过 程 ， 即 自 相关 函数 Rxx (rz) 仅 依赖 时 间 差 A, 一 二 
的 结果 。 本 章 主要 研究 广义 平稳 过 程 ， 对 于 所 有 CET, EMRE: 
rn Mott eh Rat (8-1) 


表 8-1 随机 过 程 的 均 方 结论 
Rxx(t, bE S=te=t ER, MR Rxx Co) FE +=0 时 连续 
Oo’ Rxx (ti, t2)/OtOte Æ tı =t: =t HFE, sk d Rxx (r) /dr* 在 r=0 时 存在 


n f Rxx (ti, t2)dtidtz 存在 ， 或 a (t—to — r) Rxx (z)dr 存在 
tos to 






可 导 : 





如 何 分 析 随 机 过 程 通过 LTI 系统 时 发 生 的 变化 是 本 章 研 究 的 主要 内 容 ， 包 括 时 域 和 频 
域 两 方面 。 由 于 离散 时 间 系 统 的 卷 积 运算 使 用 求 和 而 非 积分 ， 本 章 还 研究 了 针对 离散 时 间 
系统 的 相应 分 析 方 法 。 当 然 ， 如 果 离 散 时 间 系 统 冲 激 响 应 用 狄 拉克 函数 表示 ， 其 卷 积 和 也 
可 通过 积分 计算 。 

本 章 最 重要 的 内 容 是 功率 谱 密 度 (Power Spectral Density，PSD)Sxx (w), € Æ A +H A 
数 Rxx(z) 的 傅 里 叶 变 换 。 当 X(oO 仅 由 式 (8-1) 的 属性 表示 时 ， 我 们 得 到 了 随机 过 程 的 部 分 性 
质 。 在 大 部 分 应 用 中 ， 我 们 并 不 关心 随机 过 程 的 具体 分 布 或 高 阶 矩 等 统计 量 。 式 (8-1) 中 的 描 
述 对 于 大 多 数 随机 过 程 和 应 用 而 言 极 为 有 用 。 第 1 章 分 析 了 确定 性 信号 和 LTI 系统 的 频 域 性 
质 。 对 于 确定 性 信号 z(t)， 通 过 冲 激 响应 为 h(z) 的 线性 时 不 变 系统 的 输出 为 卷 积 y(1) =A) 
* 工 (t)， 对 应 到 频 域 上 ，Y(w) 二 及 (w)X(w)， 其 中 及 (w) 是 系统 的 传递 函数 。 对 于 广义 平稳 






随机 过 程 ， 本 章 将 说 明 与 之 对 应 的 频 域 确定 信号 x(t), y(t): 
GH RFE Sylw) = | H lw) |? Sxx (w)， 如 ”输入 输出 Wo) = H(o)X(o) 

图 8-1 所 示 。 出 现 相同 结果 的 原因 与 LTI XD aga) Y 

系统 一 样 ， 对 于 任意 rE R, Rex (r) 的 特 不 要 系统 re A 
征 函 数 也 是 复 指数 函数 。 我 们 将 在 重新 讨 传递 函数 : Hw) Syy(w) = |H(o)|2Sxx(o) 


论 互 相关 和 各 态 历经 性 后 得 出 这 个 结论 。 : i 
另外 各 态 历经 性 也 是 随机 过 程 一 个 重要 图 381 线性 时 不 变 系统 中 ,确定 信号 和 广义 平稳 随机 


ly 信号 的 输入 /输出 频 域 关系 
8.2 再 论 互相 关 
第 7 章 研 究 了 微分 方程 : 
a ES Atay ae KY + eo, 2G Ta KG = FW (8-2) 


dt d= dt 
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其 中 (a. .a,) EARD MILIE YO ER Yr JOE BY 3 8 # SE J 5 A, X OBA 
输出 (请 注意 在 第 7 章 和 式 (8-2) 中 ， BMT YGO I XD). AWAY EOL. UR 
而 言 不 可 能 针对 每 个 X( 刀 都 写 出 一 个 表达 式 。 我 们 首先 研究 它 的 均值 : 


a, S + aes ox) +- +a px CD) + aopx = pyl) (8-3) 
其 中 1>0， 这 里 假设 求 导 和 数学 期 望 可 以 交换 顺序 。 解 方程 中 的 yx (t)， 可 以 得 到 输出 XC) 
平均 表现 的 一 个 表达 式 。 在 很 多 应 用 中 ， 对 于 所 有 t 都 有 jy(1) 为 零 ， 并 且 系 统 初始 条 件 也 是 
零 ， 那么 jw (对 于 tET 也 将 恒 为 零 。 因 此 ， 对 于 X(4) 的 总 体 行为 研究 而 言 ， 均 值 的 差分 方 
程 提供 的 信息 用 处 很 有 限 。 
XO) tt, 代替 ， 微 分 方程 的 每 一 项 都 乘 以 X(t,)， 并 取 数 学 期 望 ， 以 研究 自 相 
R RR: 


n n=l 
a, Z Ral ste) + ári FRx (t, sta) 十 … 十 ai aR (ti gts. + apRxx (t, sta) 


= Rxy (tı ote) (8-4) 
HP i, 20, MRA A WORM Rey (ti ,ts) 为 输入 的 微分 方程 获取 Rxx lti st), 而 
Rxy (ty sto) 可 以 通过 求解 下 面 的 微分 方程 获取 ， 这 个 微分 方程 通过 式 (8-2) 乘 以 Y(t,) 并 取 
数学 期 望 得 到 : 


a; Rw (a tz) + a, aR (ti stz) +a Ryxy(t, ots) = Ryy €t; ste) (8-5) 
1 1 


FEE ty oto > 0。 从 式 (8-5) 中 可 以 研究 线性 微分 方 描述 的 随机 过 程 的 二 阶 行为 。 特 别 地 ， 如 
果 这 个 随机 过 程 具有 零 均 值 ， 它 的 方差 函数 可 以 通过 分 析 自 相关 函数 在 = 二 ts==t 的 数值 
得 到 。 该 结论 也 适用 于 线性 差分 方程 所 描述 的 随机 序列 。 
广义 平稳 随机 过 程 X(t) 的 自 相 关 函 数 可 以 看 成 联合 概率 密度 函数 的 数学 期 望 : 
Rxx (t) 会 E[ X() X I + z) ] 


=|: | zim Frias Cx sx: dx, dx; (8-6) 
考虑 如 下 自 相关 函数 的 估计 : | 
Rue) Bb] XGOXC+ad (8-7) 
这 里 积分 是 均 方 意义 下 的 。 相 应 的 均值 的 表达 式 为 : 
A a| xoa (8-8) 
因为 X(i 是 随机 过 程 ， 估 计量 Rxx (OM Z, 也 是 随机 变量 ， 所 以 可 以 计算 它们 的 
HA, j 
efx] =| ELX(1) ]dt = pay (8-9) 
[Rx (r) ] => z g£ XG) XG 4 ey ]dt = Rex (x) (8-10) 


式 (8-9)、 式 (8-10) 说 明 这 两 个 估计 均 无 偏 ， 即 在 均值 意义 上 它们 与 实际 数值 相同 (估计 的 
性 质 请 参见 第 9 章 )。 
假设 我 们 按时 间 平 均 计 算 某 个 现实 x(t), HBA: 


T 
Erio = 去 | Ct (8-11) 
2TJ-r 

r 1 T 

fix 27 _ ode (8-12) 


其 中 双 横 线 符号 表示 这 种 类 型 的 估计 。 由 于 Rxx C) X(t) 的 一 个 具体 现实 的 平均 ， 因 此 
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是 一 个 确定 性 自 相 关 函 数 ， 肥 也 同样 如 此 。 比较 式 (8-11) 中 的 确定 性 自 相关 函数 和 式 (8-6) 
中 的 定义 ,发现 它 们 有 类 似 的 形式 。 但 是 定义 式 (8-6) 中 的 自 相 关 函 数 通 过 联合 概率 密度 
KROAT XO t 和 t 十 rt 时刻 的 所 有 可 能 的 数值 加 权 ， 而 式 (8-11) 中 确定 性 自 相关 函数 只 在 
X(t) 的 某 一 个 现实 上 进行 积分 ， 无 需 加 权 。 不 同情 形 的 自 相 关 函 数 和 均值 分 别 如 图 8-2 和 
图 8-3 所 示 。 








联合 概率 密度 函数 
ASE i s 对 点 到 点 相 乘 结果 
aane pl: 加 权 ， 并 对 所 有 结 
ma REERD ater) x) 点 到 点 相 乘 后 再 水 平 积分 
' en aT, 
“同一 现实 平移 个 单位 
_ n ƏD<YTV 
=F T 


t ter 
a) b) 


图 8-2 自 相关 函数 。a) 利用 概率 密度 函数 对 上 和 上 十 rz 两 个 时 刻 的 所 有 可 能 结果 加 权 后 再 积分 ， 得 到 
Rxx (z); b) 对 一 个 现实 和 其 平移 = 个 单位 的 乘积 在 [— T, T] 上 取 平 均 ， 得 到 Rxx (7) 


函数 加 权 后 的 结 


Kass: | 对 联合 概率 密度 
果 进 行 委 直 积分 





水 平 积 分 
— > 


a) b) 


图 8-3 均值 。a) 利用 概率 密度 函数 对 上 时 刻 所 有 可 能 的 结果 进行 加 权 ， 得 到 py 
b) 对 一 个 现实 在 [一 T,T] 上 取 平 均 ， 得 到 Dy 


时 间 平 均 自 相关 函数 是 一 种 X(?) 的 某 一 个 现实 和 其 时 移 之 间 相 似 性 的 测度 。 图 8-4 展 
示 了 一 个 假设 的 和 矩形 现实 和 不 同时 移 的 时 间 平 均 自 相 关 函 数 及 xx (r)。 它 在 z—= 0 时 取得 最 
大 值 ， 此 时 z(t) 和 z(t 十 z) 最 相似 (完全 一 样 )。 当 zt 增加 时 及 xx (z) 平 稳 下 降 ， 意 味 着 函数 
上 两 个 波形 越 来 越 不 相似 。 式 (8-6) 定 义 的 统计 自 相 关 函 数 有 类 似 的 现象 ， 但 它 是 两 个 随 
机 变量 XOA X (z + z) É$ — Jt EE BJ É 
均 。 区 别 是 及 xx (z) EE BF B] F 09353, T 
Rxx(r) 是 所 有 可 能 现实 上 的 平均 。 第 7 章 
的 主要 目的 是 利用 随机 过 程 的 概率 描述 替 
RFR X(CO) 的 所 有 现实 。 

因为 随机 过 程 是 时 间 的 函数 ， 所 以 
这 种 自 相 关 函 数 引 出 的 相似 性 测度 隐 含 
了 随机 过 程 在 一 定 程度 上 的 可 预测 性 ， 
使 得 过 去 的 数值 包含 了 一 些 关 于 未 来 数 
值 的 “信息 ”。 大 部 分 随机 过 程 的 信号 处 
理 算法 利用 互相 关 信 息 达 到 一 定 目 的 ， 
比如 在 噪声 污染 的 接收 信号 中 估计 发 射 图 8-4 ”确定 性 自 相 关 函 数 。a) 随机 过 程 X(?) 的 一 个 现 
信号 。 我 们 将 针对 随机 信号 和 处 理 这 种 a(t); b) 该 现实 的 时 移 ; c) 对 应 的 时 间 平 均 
信号 的 系统 进一步 研究 互相 关 函 数 。 在 自 相关 函数 Kxx (r) 
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研究 滤波 器 之 前 ， 先 讨论 各 态 历经 性 (ergodicity) 这 个 概念 ， 对 于 某 些 随机 过 程 有 : 

limgx = px， limRxx (z) = Rxx (z) (8-13) 
取 极 限 后 ，X(z 的 任 一 现实 的 时 间 平 均 与 所 有 现实 合集 的 期 望 相同 。 
8.3 各 态 历经 性 


首先 考虑 均值 各 态 历 经 性 。 式 (8-8) 给 出 了 随机 过 程 X(z) 均 值 的 时 间 平 均 z... MR 
X() 的 均值 为 常数 ， 则 e[j] 二 x， 意 味 着 即使 是 有 限时 间 积 分 ， 仍然 是 x 的 一 个 无 
偏 估计 。 均 值 的 各 态 历 经 性 是 非常 重要 的 性 质 ， 意 味 着 当 T>co 时 ， 随 机 过 程 的 时 间 平 均 
收敛 于 均值 。 

定义 (均值 的 各 态 历经 性 (随机 过 程 )) 设 随机 过 程 X(1) 均 值 为 常数 py, RB 

lim 二 | xoa N (8-14) 
则 称 XX(z) 满 足 均值 各 态 历经 性 。 

时 间 平 均 趋 于 数学 期 望 暗 指 时 间 平 均 的 方差 趋 于 零 。 这 个 特性 很 有 用 ， 也 就 是 说 ， 在 
足够 长 的 时 间 对 X(z) 的 任 一 现实 取 平 均 ， 可 以 精确 估计 随机 过 程 的 均值 。 随 机 过 程 的 均 
值 各 态 历经 性 可 以 通过 后 面 讨论 的 方法 验证 。 

定理 8-1( 均 值 的 各 态 历 经 性 ) ” 设 随 机 过 程 义 (1) 的 自 协 方差 函数 为 Cxx (tr)，X(t) 具 有 
均值 各 态 历 经 性 当 且 仅 当 : 


tim Ff (1-21) cx coa = 0 (8-15) 
其 中 
Cxx (z) = Rex (z) — pk (8-16) 
证 明 : 考虑 式 (8-14) 中 积分 式 的 方差 : 
É 1 T 2 1 "a T < 
= | (a) XD- py) |= aa} | -cea ,tz ) dti dt, (8-17) 


因为 积分 在 均 方 意义 下 存在 ， 所 以 a; 一 0。 当 时 间 平 均 的 方差 趋 于 零 时 ， 它 的 概率 密 

度 函 数 变 为 位 于 uy 处 的 6 函数 。 因 此 只 需要 验证 式 (8-17) 中 的 双重 积分 等 价 于 式 (8-15) 中 

的 一 重 积 分 。 第 7 章 讨论 了 包含 自 相 关 函 数 Rxx (rzr) 的 均 方 积分 与 此 类 似 的 等 价 问 题 ， 相 

KA ARBRE. FA 7-16 中 关于 Rxx (r) 的 结果 也 适用 于 Cxx (rz)， 只 是 积分 限 从 Cost] H 
ATT]. 

因为 定理 提 到 的 Cxx (r) 只 依赖 时 间 延 迟 z, PW XOLE: 当 z 2, — h 时 

Cxx (ty ste) 一 Cxx (t, — h) = Cxx (Tt) ,tt,—t Ma At, +h 的 变量 替换 对 应 于 图 7-16 中 的 坐 

标 旋转 。r 的 积分 限 显然 是 [— 2T,2T], Ma 的 积分 限 依赖 于 tc。 从 图 7-16 易 知 ,为 保证 正方 

形 的 积分 区 域 ，wu 的 范围 必 是 [一 (2T 一 |z|),2T 一 |z|]。 相应 的 雅 可 比 矩 阵 是 (参考 附录 G); 

£w per ‘Gace oy 4 

I A 


(8-18) 
Oa/Ot; da/dts 


所 以 : 


Y 1 fF 但 到 Gadd 
mb pdt ase n a, 


1 2T 
=n 20T- |r| )Cxx (tT) dr 
== "(1 cx wae (8-19) 
这 里 J =det( J =2 是 变换 的 雅 可 比 行列 式 。 当 Tort oi >0, 证 毕 。 
虽然 原始 积分 是 二 重 积分 ,但 由 于 自 协 方差 函数 是 单 变量 函数 ， 所 以 加 权 函 数 r=0 
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的 中 心 高 度 为 1， 宽度 为 4T。 当 坐标 轴 与 = 方向 对 齐 时 ， 关 于 a| 的 积分 导致 了 这 个 三 角形 
加 权 。 这 个 加 权 保 证 了 依 变 换 后 数 轴 积分 和 依 原 始 数 轴 积 分 的 结果 相同 ， 并 充分 利用 
图 7-16_E Cxx (ti ,ts) 在 五 王妃 的 垂 线 上 为 常数 的 事实 (请 注意 ， 关于 Cxx (t, ote) 的 积分 限 
BARA LL TT] 
由 于 式 (8-15) 不 一 定 容易 计算 ， 因 此 再 给 出 一 个 均值 意义 下 各 态 历 经 性 的 充分 条 件 。 
定理 8-2 设 随 机 过 程 和 (ti 的 自 协 方差 函数 为 Cxx (z), 3 
je: ëk a don (8-20) 
时 ，XX(t) 具 有 均值 各 态 历 经 性 。 
证 明 : 取 式 (8-19) 的 右边 的 绝对 值 : 
| zr 
On ~ or — [t 2T )Cxx (ode 
1 2T |r {el 1 2T 
<> (i= 2T )C (r) d< |Cxx (z) | dr (8-21) 
如 果 式 (8-20) 成 立 ， 则 因为 分 母 上 的 T->ce， 式 (8-21) 的 右边 趋 于 零 。 
定义 (均值 的 各 态 历 经 性 (序列 )) q X[kj] 的 均值 为 常数 py, RBA: 
Di a 3 Dx = px (8-22) 


则 称 该 序列 具有 均值 各 态 历经 性 。 
因为 一 共有 2T 十 1 个 求 和 项 ， 为 了 获得 wx 的 无 偏 估计 ， 所 以 除 以 2T 十 1。 
自 协 方差 函数 Cxx Lmj] 的 相应 条 件 为 (参考 习题 8-1) : 














27 
; 1 __|m| _ i 
a TFI, z#r+1)Ow[m] = 0 (8-23) 
和 
>) Ca Lm] |< = (8-24) 


m=—oc 


设 了 X(t) 是 不 相关 过 程 ， 当 cA0 时 Rxx (z) =£[X( XG++z)]=£[X(0O Je[ XG + 
Dl=px, HH ox 为 有 限 值 ， 所 以 








E < ) — Š . = 0 
Cato LE Os gh fe, 
一 of6(Cr) (8-25) 
WH: 
if 2T 
or = oT 二 -加 jiacod = (1/2T) 0x (8-26) 


这 里 使 用 了 ó 函数 的 筛选 特性 。 当 Ecol EERE Mas 满足 均值 各 态 历 经 的 充 
分 条 件 


| aod = ox < co (8-27) < 
UERR Z — 33 e BO LTE, WRE DBA BRA Rxx (z) =exp(— |+| )=Cxx (z), 

则 它 满足 均值 各 态 历经 性 的 充分 条 件 
flep lel lde = 2] exp Ddr = 2 < 2 (8-28) 


这 个 例子 说 明 一 般 而 言 ， 充 分 条 件 更 容易 检验 ， 如 果 充 分 条 件 不 满足 ， 就 需 检验 
式 (8-15) 的 充 要 条 件 。 Bias 有 


exp 全 |r| de =+” [exp( 一 r) — (z/2 T)exp(— z) Jdr 





2 H0 -2T 
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=— (1/T)exp(— z) |i7 + (/2T2)(<+ l)exp(— r) |é" eae 
=(1/T)[1 — exp(— 2T)] + 1/2T* )[(2T + Dexp(— 2T) — 1] 
当 Toh KARTE. < 
各 态 历 经 性 可 以 推广 到 其 他 的 数学 期 望 ， 我 们 将 研究 相关 函数 的 各 态 历经 性 。 这 种 从 
随机 过 程 的 单个 现实 中 估计 均值 和 自 相关 函数 的 方法 在 很 多 应 用 中 都 非常 重要 ， 特 别 是 后 
面 将 要 研究 的 线性 系统 。 
定义 (相关 函数 的 各 态 历经 性 ) 设 随 机 过 程 XX( 四 的 自 相关 函数 为 Rxx (rz)， 当 满足 以 
下 条 件 时 


big toh CS EK ORE ERS (8-30) 
T= 21 J-T 
称 X(C) 具 有 相关 函数 的 各 态 历经 性 。 


即使 有 限时 长 条 件 下 ， 某 一 个 现实 上 的 时 间 平 均 也 是 Rxx (r) 的 无 偏 估计 。 


1 [7 = 
e[ 去 | xcoxce+od]- Rxx Ge) (8-31) 


与 均值 各 态 历经 性 的 分 析 类 似 ， 我们 将 分 析 自 相关 函数 的 方差 .并 指出 当 T 一 co 时 ， 
方差 趋 于 零 。 为 简化 符号 ， 记 : 


Y Cy SXXX r e) (8-32) 
其 均值 ww 一 Rxx (r) ， 自 协 方差 函数 为 ; 
Cy y, (a) = Ry y, (a) — Rix (z) (8-33) 


对 每 一 个 + 单独 定义 一 个 Y.(t)，Y.,(z) 的 均值 与 + 无关， 而 且 由 于 它 的 自 相 关 函 数 仅 
依赖 单个 变量 U, Y. (四 广义 平稳 。 

定理 8-3( 相 关 函 数 的 各 态 历经 性 ) 设 随机 过 程 X(i) 具 有 相关 函数 的 各 态 历经 性 ， 当 且 
仅 当 : 


T: 





; _ e 
lim| (1—5 )Cr,, ada = 0 (8-34) 
证 明 : Y.(z) 的 方差 为 
1 T 2 
a = e[l Yod y, ] (8-35) 
和 定理 8-1 类 似 ， 可 以 马上 写 出 : 
T T 
o, = pte] ,| Cry, (tite dnde (8-36) 
这 里 Cry y tis te RELY, Y. (t2) ]— py. =Ry y (tr, ty kx (z), 经 坐标 变换 可 得 到 : 
" t lal 
at, = sr} (1— ga) Crv, (ada . (8-37) 


当 T—oB$, oy 一 0， 证 毕 。 
由 于 式 (8-37) 与 均值 各 态 历经 性 的 要 求 类 似 ， 只 是 Ca BURT C, v (a)， 所 以 式 (8-38) 是 
相关 函数 各 态 历经 性 的 一 个 充分 条 件 : 


[ Cry, (ada < e° (8-38) 
请 注意 ， 式 (8-33) 中 Ry y (c) 是 原始 随机 过 程 的 四 阶 矩 : 
Ry v. (a) 一 ELY.(iDY (十 wa)] 
一 ELXCDXCG 十 rz)XCG 二 a)XCG 二 rz 十 a)] (8-39) 
RES HOME Ryy (a) 的 表达 式 ， 但 零 均值 高 斯 随机 过 程 XONAR 


数 阶 和 矩 均 可 用 三 阶 矩 表示 。 特 别 地 : WRF n= 1,2,3;4,{X(t,)} 是 联合 高 斯 随机 过 
fe, WA: 
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ELX X(t.) X (ts) X(t) ] =ELX(t,) X(t) ] ELX Ct) XC) J 
+ ELX(t,)X(;)] €ELX() X(Ct,) J 
+ é[X(t,) X(t) ] ELX) XC) ] (8-40) 
将 该 结果 应 用 于 Ryy (a), A 
Ry v, (a) 一 ECXCDOXCGE 十 rDXCE 二 aXC 二 rz 十 o)] 
一 Rxx (z) + Rix (a) + Rxx (z + a)Rxx (a — t) (8-41) 


x Ge) Risto) + R (rR (a = O (8-42) 
习题 8-6 将 研究 相关 函数 为 例 8-2 中 的 Rxx (zt) 的 零 均 值 高 斯 随机 过 程 vibra ei 
KHRAAABE. 
与 研究 均值 和 相关 函数 各 态 历经 性 类 似 ， 为 了 用 时 间 平 均 代替 数学 期 望 ， ANAS 
义 分 布 的 各 态 历经 性 。 第 5 HH. MIE E K REA Ai RA a A AGB zç A AY BH k 
示 。 将 该 方法 推广 到 随机 过 程 : 
enn (CRE Re (FY (8-43) 
由 此 ， 我 们 给 出 如 下 定义 : 
定义 (分 布 的 各 态 历 经 性 ) ”对 于 任意 Tz， 随机 过 程 X(i) 具 有 分 布 的 各 态 历经 性 ， 当 了 且 
EF 
liin NEE ON = utd (8-44) 


这 个 定义 曾 述 了 通过 对 指示 函数 的 不 同 现实 取 平 均 ， 可 以 估计 分 布 。 假设 指 示 函 数 的 变 
量 X(2) 是 独立 同 分 布 的 标准 高 斯 随机 过 程 。X(2) 的 一 个 现实 例子 见 图 8-5a。 如 果 式 (8-43) 中 
£= cos 相应 T_-,=(CXCGD) 的 现实 显然 是 常数 1， 类 似 地 ， 如 果 LS O's 现实 恒 为 零 。 对 
于 所 有 其 他 zx，TI_-.a(CX(CD) 的 现实 将 在 0 和 1 之 间 变 化 。 这 些 现实 中 会 有 很 多 跃 变 ， 也 有 
一 些 相对 平坦 的 区 域 。 比 如 x= 二 0 BF, Io. (X(t)) 的 0 和 1 取 值 的 持续 时 间 基 本 相当 ， 
图 8-5b 给 出 了 一 个 这 样 的 现实 。 当 我 们 取 这 个 现实 的 平均 值 时 ， 值 为 0.5， 也 就 是 Fro (0), 
对 于 z>0， 时 间 平 均 应 该 这 0.5， 对 于 x 二 0， 时 间 平 均 应 该 二 0. 5。 图 8-5c 中 给 出 了 z=2 时 
I. 20,2) XMS. BREET PJN XOKF z, HETK RES i BED 
二 元 过 程 的 期 望 。 

利用 前 面 均值 和 相关 函数 各 态 历经 性 的 结果 ， 我 们 可 以 得 到 分 布 各 态 历 经 性 的 充 要 条 
件 。 为 简化 符号 ， 定 义 随 机 过 程 

Z,G) & Ico (XM) (8-45) 

其 中 指示 函数 的 下 标 z 表示 特定 值 。 它 的 期 望 为 : 


£[Z,G] =|" Loa (2G) Payta (5 x€ 


=|" e CADA = Fie) (8-46) 
这 是 累积 分 布 函数 的 无 偏 估计 。 自 相关 函数 为 : 
Rziz (z) =E€LI wa (XO) 1-.. a (XG + 7))] 
=| [a aH) 
š fd (20) sxe + tat PO 
=| [frome a0 raD dedre) 


=P(XW < >, Xa +z) < x) — FR xq (z Z) (8-47) 
这 是 变量 z 相 同 条 件 下 ， 随 机 过 程 X(z) 两 个 不 同时 刻 的 联合 累积 分 布 函 数 。 由 于 
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X(D) 广 义 平稳 ， 所 以 Z.() 也 类 似 地 广义 平稳 ， 使 得 Rz > (r) 只 依赖 于 时 间 延 迟 r。 相 应 的 
自 协 方差 函数 为 ， 


C; z, Cr) R; z, (z) — Fw (z) (8-48) 
3 
1 
; | | 
0.8 
7 | | 
< 会 0.6 
BS 0 | 
= 
= Qi 1] | 
=e bi | 
=3 0 
0 50 100 150 200 0 50 100 
t t 
a) b) 
1 
0.8 
= 0.6 
= 
= 
70.4 
0.2 
0 
0 50 100 150 200 


图 8-5 ”随机 过 程 和 指示 函数 。a) 高 斯 随机 过 程 的 一 个 现实 ; b) Ico (XM) 
的 现实 ; c) L- XOR 


定理 8-4( 分 布 的 各 态 历经 性 ) 对 于 任意 T， 随 机 过 程 X(t) 具 有 分 布 的 各 态 历 经 性 ， 
SARS: 


i 2T 
lim| (1 — pe) Cz,2, @dr = 0 (8-49) 


Trao, 


证 明 : 除了 用 Coc, (r) 替 代 Ca (z) 外 ,证明 过 程 与 均值 各 态 历 经 性 的 证 明 类 似 ， 
证 毕 。 | 
分 布 各 态 历经 性 的 一 个 充分 条 件 是 : 
四 |C; z, Ge) | de < co (8-50) 


GED 若 随机 过 程 X(1) 独 立 同 分 布 ， 则 该 过 程 具 有 分 布 各 态 历 经 性 (也 具有 均值 各 
ARAM). HE HHX BHR Rzz (7r) 二 Fxw (z)Fxuro(Cz)， 因 此 对 于 任意 AO, BT 
Fxa+o6o (ZX)=Fxw (t), K Cy; z; (r)=0. 当 t= 二 0 Hf, 

R; z (0) =EL R- (X62))] = EL .a (XM) ] 


=|" feo (20) 4 = PRR oD S FEI (8-51) 


Cz z, Cr) [Fy (x) lea fn (z) ]8(z) = — Fy (2) [1 Fx (z) Jó(z) (8-52) 
Cz z (0) 是 Z,G) 8 Jr 2, 在 这 道 例题 中 对 应 POXO<e)PCXM>z). AK, t 固定 后 ， 
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agr raran Fxo(z) 的 伯 努 利 随机 变量 。 代 六 式 (8-49) 中 ， 得 到 
ol (1 一 LE) Feo DL — Fxey (x) J86(z)dz = (1/2T) Fx (x) [1 — Fx (x) ] 


(8-53) 
由 于 Fun (2) AR, 4 T>co 时 ， 最 后 的 结果 趋 于 0。 < 


8.4 Rxx(r) 的 特征 函数 
将 式 (7-258) 中 卡 胡 内 - 列 维 扩展 式 的 积分 限 从 有 限 范围 [0,T] 扩展 到 士 ce ， 
f Rali WIC Va, a T A AA (8-54) 


HP ($, (CO) FERRE PA, (A, ERIE. A XB RB, BPB KH A 
量 取决 于 两 个 时 刻 的 差 。 因 此 ， 积 分 具有 卷 积 的 形式 ， 对 应 到 图 8-1 中 的 线性 时 不 变 系 
统 ， 由 于 


yD) = | ha- Dradr (8-55) 
对 于 线性 时 不 变 系统 ， 复 指数 是 特征 聘 数 : 
Ce ee =f} OED Re = 


=H(w,)exp(jw,t) (8-56) 
其 中 进行 了 变量 替换 ， 令 v=t 一 tr 和 


Hlw,) = | _ACo)exp( 一 juo)da (8-57) 


是 AO) TER EAS on 上 的 频率 响应 。 这 是 信号 和 系统 课程 的 一 个 基本 结论 : 输出 和 输入 的 频率 
相同 ， 只 是 幅度 和 相位 受 Hm, ) 的 影响 ， 可 能 不 同 。 因 为 自 相 关 函 数 仅仅 是 式 (8-54) 中 卷 积 的 
一 个 具体 的 函数 ， 该 复 指数 也 是 特征 函数 ， 只 是 将 互 (w) 替 换 成 功率 谱 密度 Sxx (w) 。 将 


ey (8-58) 
代入 式 (8-54)， 整 理 得 到 : 
tes Km CEPE IN aah CA dis = Balad (8-59) 
Ar —t H wm 一 ww， 我 们 发 现 Sxx (w) Æ Rxx (z) BJ 8 B ER. 正如 在 引言 中 提 
到 的 : 
| Re exp jwr)dr = Sex Cw) (8-60) 


与 X(t) 的 卡 胡 内 - 列 维 扩展 式 中 在 TT = [0 , T] 积分 获得 可 数 个 特征 函数 不 同 ， 在 T= 久 
上 得 到 的 特征 函数 的 数量 不 可 数 。 由 第 7 章 可 知 ， 如 果 Rxx (cz) 的 周期 为 了， 则 该 过 程 可 以 做 
傅 里 叶 级 数 展开 。 本 节 中 的 结论 可 以 认为 是 将 傅 里 叶 级 数 的 结果 扩展 到 非 周 期 函数 Rxx (7)。 
然而 ， 值 得 注意 的 是 ， 虽 然 式 (8-54) 是 一 个 卷 积 ， 但 是 Rxx (rt) 没 有 用 作 X(C) 的 滤波 器 。 
在 8.5 节 中 ， 我 们 将 通过 不 同 的 方法 推导 功率 谱 密 度 ， 并 说 明 它 与 随机 过 程 的 功率 之 间 的 
关系 。 功 率 谱 密度 有 很 多 性 质 ， 前 面 图 8-1 给 出 了 当 X(t) 由 Hw) BRA. Sylo) A 
Sxx (w) 的 关系 ， 本 章 稍 后 将 进行 证 明 。 


85 功率 谱 密 度 


简要 回顾 非 随机 信号 的 功率 和 能 量 。 
定义 (能 量 ) 确定 性 信号 rh ERLA: 


EA i z’ (r) dz (8-61) 
MR z(D 在 及 上 是 周期 信号 ， 则 E DAK. PM, MF zGO)=Ccos(ot): 
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Eze 上 cos’(wt)dé = f (1/2)[1 + cos(2wt)]dt = 00 


对 于 这 样 的 信和 号， 考虑 用 平均 功率 。 
定义 (平均 功率 ) ”确定 性 信号 (4) 的 平均 功率 定义 为 : 


DF 
EN ad 2 š 
P & lim oT a7 (t)dt (8-62) 
对 于 余弦 函数 ， 平 均 功 率 是 有 限 的 : 
T 
P =s mal (1/2)[1 + cos(2wt)]dt = 1/2 (8-63) 
Te 2 T]-r 


5 AÉ K k 053842 3 RE, ARA MOMMIES eE ERARA, Ate 
平均 功率 P 3⁄0, 

定义 (能 量 和 功率 信号 ) 能 量 信号 的 能 量 有 限 且 功率 为 0。 功率 信号 的 能 量 无 限 且 功 
这 有限。 也 就 是 能 量 信号 的 0<E<so,  #1E FH 0<P<co, 

和 矩形 函数 rect() 是 一 个 能 量 信和 号， 而 正弦 函数 是 一 个 功率 信号 。 

对 于 随机 过 程 X(z)， 我 们 感 兴 趣 的 是 及 上 的 现实 {z(t)}， 所 以 它 是 一 个 功率 信号 。 为 
了 恰当 地 定义 随机 过 程 的 平均 功率 ， 需 要 引入 现实 合集 的 期 望 。 首 先 考虑 特定 现实 OE 
eI; TJ 上 的 平均 功率 : 


Rd (8-64) 
2T ]=+ 
利用 帕 斯 瓦 尔 定理 ( 见 附录 C)， 频 域 中 的 相应 结果 为 : 
prk 去 | (1/2T) | X(w) | dù | (8-65) 


HEF, Xor ELT, TIMBER. ARR o 将 这 个 大 写 符 号 与 时 域 随机 过 程 
X() 区 分 开 来 。 但 需要 注意 ，X(o) 可 以 看 作 随 机 过 程 在 频 域 中 的 一 个 现实 。 通 过 对 XC) 
的 现实 ca) HEITE A 

由 于 z(t) 是 任何 现实 ， 因 此 式 (8-64) 中 的 rR XC), AWS 章 求 条 
件 期 望 时 ， 条 件 从 具体 值 变 成 随机 变量 。 我 们 最 初 研究 了 期 望 E[LX|1Y= 二 y]， 它 是 随机 变量 
取 值 y 的 函数 。 将 条 件 扩展 成 随机 变量 : E[X|1Y] 可 以 看 成 是 随机 变量 Y 的 函数 。 类 似 
地 ， 式 (8-64) 是 一 个 现实 的 函数 ， 我 们 希望 将 其 推广 为 随机 过 程 X a) 的 函数 。 因 此 ， 
式 (8-65) 中 现实 XCo) 可 以 替换 成 相应 随机 过 程 的 和 傅 里 叶 变 换 。 式 (8-64) 、 式 (8-65) 中 的 
Pr 变 成 了 随机 变量 。 

将 随机 过 程 的 平均 功率 定义 成 Pr 的 期 望 ， 并 令 Too, 


Pxx & lim E P+ ] = al lim(1/2T) EL| X(w) |? Jdw (8-66) 
Toc 2rJ— T= ` 
其 中 ， 假 定 极 限 和 积分 顺序 可 以 互 换 。 定 义 极 限 : 
Six Co) & lim (1/2T) ELIX wre (8-67) 
从 而 
Pxx = >| ed (8-68) 
2xJ- 


最 后 一 个 表达 式 说 明 Sxx (w) 是 功率 谱 密 度 : 当 对 它 在 o 的 一 个 区 间 积 分 时 ， 可 以 得 
到 这 些 频 率 的 平均 功率 。 随 机 过 程 在 整个 区 间 WE RAY FB BE Pxx 。 功 率 谱 密度 
Sxx(o) 与 8.4 节 讨论 Rxx Cr) 的 特征 函数 时 用 到 的 功率 谱 密 度 一 样 ， 它 的 单位 是 瓦特 / 
弧度 。 

最 后 一 步 是 推导 Sxx (w) 的 有 效 表 达 式 。 将 |X(w) 1 =X" (wo)X(Co) 中 每 一 项 的 傅 里 叶 
变换 代入 式 (8-67)， 得 到 (上 标 * Ra BALM): 
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Sw w) 一 lim 赤 E[| XVexp(—jwt)dn| X(t expGuts) di | 


T 
=lim a. Ax Rx st, )exp(— jw(t, — tz) )dtı dtz (8-69) 


其 中 ， 使 用 了 不 同 的 积分 变量 并 假设 随机 过 程 X(t) 为 实数 。 取 极限 前 , 将 i,t。 € 
[—T.T] LB BAK RRM E LM Rxx (ti ,ts) 全 ELXGnD)XG2)]。 并 假设 (广义 平稳 ， 
从 而 Rxx (t) = Rex, — t) 并 令 Tt 会 t1 一 t。。 与 各 态 历经 性 中 的 变量 变换 相同 ， 功 率 
谱 密度 变 成 : 


Sxx (w) = lim nol (2T — |r|) Rxx (cr) exp(— jwr) dr 


=lim| R xx (rc) exp(— jwr)dr 


= tim |" /2D) |e |R ()exp(—jer)de (8-70) 
如 果 满 足下 列 有 界 条 件 : 
{= |r|Rxx(r)dr < œ (8-71) 
上 面 第 二 项 积分 的 极限 为 0， 得 到 
Six (w) = [Rex (Dexp(— jwr)dr (8-72) 


这 与 式 (8-60) 利 用 特征 函数 得 到 的 结果 相同 。 式 (8-71) 中 的 条 件 要 求 自 相 关 函 数 迅 速 衰减 
到 0， 这 意味 着 该 随机 过 程 不 能 “ 太 相 关 。” 我 们 将 这 些 结 论 归纳 为 下 面 的 定义 。 

定义 (功率 谱 密度 ) 自 相 关 函 数 为 Rxx (rt) 的 广义 平稳 过 程 X(ti) 的 功率 谱 密度 (Power 
Spectral Density, PSD) # 


Sex Cw) = | Rex (e)exp(—jwe)de (8-73) 
其 中 四 是 角 频 率 ，ow 一 2rF。 从 频率 的 角度 ， 功 率 谱 密度 等 于 
Sex = | Ri exp j2x fe)dr (8-74) 
自 相关 函数 是 功率 谱 密度 的 傅 里 叶 反 变 换 : 
Ra (e) = Ef” Se Cw)expljwr) do (8-75) 
代入 o= 2xf, HF: 
Rale) = | Sa PexpG2nfrrdf (8-76) 


为 了 完整 性 ， 我 们 给 出 其 他 随机 信号 和 变换 类 型 对 应 的 其 他 形式 的 功率 谱 密 度 。 
o 随机 过 程 ， 拉 普 拉 斯 变换 ; 


Six G) = Ryx (eyexp(—'sr dr (8-77) 
1 [== 
Rxx (z) ==| Sxx (s)exp(sr)ds (8-78) 
2x) cj 
e 随机 序列 ， 离 散 时间 傅 里 叶 变 换 (DTET) ， 
Sxx (jw) = >) Rxx [m ]exp(— jem) (8-79) 
Rix [Lm] = 去 | Sw (je) exp wm de (8-80) 


° 随机 序列 ， z RR; 
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Sxx (z) = $, RexEm]z™ (8-81) 
了 = LAS (2) 2" de (8-82) 
2m}, 


K 8-2 给 出 了 一 些 自 相关 函数 以 及 它们 的 功率 谱 密 度 的 例子 。 附 录 G 讨论 了 拉 普 拉 斯 
和 z 变换 的 收敛 域 (Regions Of Convergence, ROC). Al 8-6 给 出 了 一 个 指数 自 相 关 卫 数 
和 甚 功率 谱 密 度 的 例子 。 当 我 们 对 随机 过 程 的 频率 特性 感 兴趣 时 ， 一 般 研究 o 或 了 形式 的 
功率 谱 密度 。 而 当 研 究 输入 为 随机 信和 号 的 系统 时 ， 一 般 使 用 拉 普 拉 斯 或 = 变换 形式 的 功率 
谱 密 度 。 j 


表 8-2 ”功率 谱 密度 的 例子 










BRxx(T) 
白 噪声 ;6(7r) 
指数 : exp(—a|r|) 
JÆ: rect(ar) 
三 角 : 1—-a|r|/T 
RxxLm] 
ARE, aim] 
指数 : al”! 





1 
2a/(a? +o) 
(1/ | a | ) sine(w/2na) 

(1/ | | )sine® (w/2na) 


1 
(1—a*)/[1+a? —2acos(w) | 


Rodo) = /Syodf)df 
=Xtl 的 平均 功率 


( 功率 谱 密度 下 的 
所 有 面积 ) 


1 

2a/ (oz —s?) 

(2a/ |< | )sinh(s/2a)/s 
(4a2/ |a | )sinh® (s/2e) /s* 


























1 
(1—a2)/[(1—az-1)(1—az)] 












面积 = 在 这 个 频率 
范围 内 的 Xb 平 均 
功率 


Ryx(t) 


T 


a) b) 


图 8-6 自 相 关 函 数 和 功率 谱 密 度 。a) 指数 Rxx (z); b) Sxx (有)(W/Hz)， 特 定 频 率 范 
围 内 的 平均 功率 ， 通 过 对 该 范围 内 的 功率 谱 密度 积分 得 到 


功率 谱 密度 的 性 质 如 下 : 
@ 平均 功率 。X(t) 的 二 阶 和 矩 为 


ELX] = Ra (0) = Ef Sa (wd (8-83) 


2x 
令 式 (8-76) 的 r=0 时 得 到 上 式 。 
e 实数 。Sxx (wow) 是 关于 o 的 实 函 数 。 由 于 Rxx OE MRM, AE: 


Ga =| Ra EA har hee) Teko. 


=2| Ra (2)cos(we)de (8-84) 
0 


即 与 j 无 关 。 
e 偶 函 数 。 由 于 式 (8-84) 中 的 cos(Cwor) 是 偶 函 数 ， 因 此 Sxx (wo) 是 偶 函 数 。 
e 非 负 。 从 式 (8-67) 的 原始 定义 可 以 得 出 Sxx (w) 宇 0。 
@ sk. WR X(iD) 是 一 个 白 噪 声 过 程 ， 那 么 其 自 相 关 函 数 Rxx (z) 王 SCr) ， 则 Sxx @=1. 
利用 ó 函数 的 筛选 特性 可 以 得 出 该 结论 : 


Si (w) = | d¢eexp(—jwr)de = 1 (8-85) 
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本 章 稍 后 将 讨论 白 噪 声 。 
e 推导 过 程 。 如 果 Y(i=X' (Cr) ， 则 : 
Syy (w) = ww Sxx (w) (8-86) 
第 7 章 中 得 出 Ry (z) =—d°Rxx (z) /de’, FRA A EE, B iH 
该 结论 
e 谱 分 解 定理 。 如 果 Sxx (s) s 的 有 理 函 数 ， 它 可 以 分 解 如 下 : 
Sxx (s) = Skx Cs) Sxx (s) (8-87) 


其 中 Sxx (5) 的 所 有 极 零 点 在 ;平面 的 左 半 平 面 ，Sxx (s) BJ BT 44 18 3E ATE s FMA 
半 平 面 。8. 6 节 将 说 明 Sxx (5) 可 以 认为 是 功率 谱 密 度 平坦 的 输入 信号 通过 传递 函数 
为 HH(;s) 的 因果 滤波 器 的 输出 。 它 是 乘积 的 形式 ， 
Sxx (s) = H(s)H(— s) (8-88) 
因为 Hs) ERE, 所 以 它 和 Sxx (5s) 的 所 有 极点 都 在 s 平 面 的 左 半 平 面 。 同 样 地 ， 反 
因果 系统 对 应 的 互 (一 >) 和 Sxx (s) 的 所 有 极点 都 在 ;平面 的 右 半 平面 。( 假 定 HC) 
为 绝对 稳定 ， 无 极点 在 虚 轴 上 。) 
e 极点 对 称 性 。 由 谱 分 解 性 质 ，Sxx (Cs) 的 极点 具有 下 列 对 称 性 : 
极点 在 s =— o, + jo => 极点 在 5 = o, 一 jw (8-89) 
从 图 8-7a 中 可 以 直观 看 出 这 种 双 对 称 性 质 。 关 于 实 轴 对 称 是 由 于 自 相关 函数 是 偶 含 
数 ， 极 点 需要 共 斩 。 关 于 虚 轴 对 称 是 由 于 Sxx (s) o 的 偶 函 数 。 图 中 虚线 显示 了 由 于 分 解 
性 质 ， 两 个 复 极点 在 式 (8-89) 中 是 如 何 “ 相 关 ” 的 。 


Im(s) 





a) 





图 8-7 功率 谱 密 度 的 极点 位 置 。a) s 平 面 ，Sxx (s) = Si (s) Sxx (5) 的 极点 ; b) zx 平面， 
Sxx (2) = Sy (z)Sxx(z) 的 极点 ， 阴 影 区 域 中 的 极点 对 应 功率 谱 密 度 的 因果 部 分 


e 零点 对 称 性 。 当 然 ， 稳 定性 对 态 (s) 的 零点 没有 限制 。 但 是 ，Sxx (s) 的 所 有 零点 在 s 
平面 的 左 半 平 面 将 方便 稍 后 11 章 的 学 习 ， 因 此 零点 具有 与 极点 相同 的 对 称 性 。 零 
点 需要 满足 上 述 要 求 的 原因 是 第 11 章 介 绍 的 维 纳 滤波 要 求 Sky (5) 可 以 取 倒 数 ， 则 
零点 将 变 成 极点 ， 为 满足 稳定 性 ， 零点 需要 在 * 平 面 的 左 半 平面 。 (由 于 这 个 原因 ， 
我 们 也 假设 没有 零点 在 虚 轴 上 。) 传 递 函 数 的 所 有 零点 在 s 平面 的 左 半 平 面 的 系统 称 
为 最 小 相位 系统 。 当 Six (s) 的 所 有 零点 都 不 在 s 平 面 的 右 半 平面 时 ， 群 延迟 较 小 。 
随机 序列 的 功率 谱 密 度 Sxx (jw) 的 对 应 性 质 留 作 练 习 。 这 里 给 出 Sxx (z) 的 谱 分 解 
性 质 : 
Sxx (z) = Skx (z)Sxx(z) (8-90) 
其 中 Six (2) KOBE ATE z 平面 的 单位 圆 内 ，Sxx (z) 的 极 零点 在 单位 圆 外 。 传 递 函 数 H (z) 
对 应 到 式 (8-88) 的 结果 为 : 
Sxx (z) = H(z) H(z") (8-91) 
极点 对 称 性 是 
极点 在 z 二 riexp(jwi) = r Leoste) + jsin(a; ) | 
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沪 极 点 在 z =(1/r, exp(— ja.) = (1/ri)(cos(w) — jsin(o)) ] (8-92) 
这 也 适用 于 零点 。 图 8-7b 给 出 了 一 些 例 子 ， 其 中 虚线 表示 由 于 分 解 性 质 ， 两 个 复 极点 在 
式 (8-92) 中 是 如 何 “ 相 关 ” 的 。 
虽然 后 面 章节 讨论 了 不 同形 式 的 功率 谱 密 度 ， 如 Sxx (w)、Sxx (有 )、Sxx (5)、Sxx (jw) 和 
Sxx (z)， 我 们 通常 只 给 出 一 种 形式 的 结果 ， 其 他 形式 的 结果 可 以 同 理 得 到 。 


8.6 功率 谱 分 布 


在 第 3 章 随 机 变量 中 ， 我 们 定义 了 随机 变量 X 的 累积 分 布 函数 Ex(Cz) 和 概率 密度 函数 
fx), 它们 的 关系 是 : 


fala) = AF, (2) (8-93) 
假设 Fx(x) 可 导 。 在 第 5 章 中 ,定义 了 随机 变量 X 的 函数 g(X) 的 期 望 : 
Ele] = | g(x)dPxCz) (8-94) 


这 是 一 个 积分 变量 为 Fx (x) 的 黎 曼 -斯 蒂 尔 切 斯 积分 。 累 积分 布 函数 Fx (2) = POX a) 
示 一 个 特定 概率 ， 而 fx (xz) 是 密度 函数 ， 对 它 积分 可 以 得 到 概率 : 


P(X L ne r. yad (8-95) 


功率 谱 密 度 也 是 密度 函数 ， 对 它 积 分 可 以 得 到 广义 平稳 过 程 X(2) 的 平均 功率 。 例 如 ， 
整体 平均 功率 为 : 


| Si Paf = Rex (0) | (8-96) 
在 一 定 频率 范围 f€ [— B, BIW FHWA: 
P xx = [Sear (8-97) 


类 似 累 积分 布 函数 ， 我 们 可 以 定义 功率 谱 分 布 函数 。 
定义 (功率 谱 分 布 ) 广义 平稳 随机 过 程 X(D) 的 功率 谱 分 布 SR (/) 定 义 为 : 


Re) 一 | expG2nferdShe(P) (8-98) 


其 中 Rxx (z) HHR BRK. 

为 了 与 符号 fx(z) 和 Fx(z) 一 致 ， 可 以 用 sx(f) 和 Sx(/) 分 别 表示 功率 谱 密度 和 功率 
谱 分 布 函数 。 然 而 ， 大 写 Sxx (万 在 工程 中 通常 表示 功率 谱 密 度 ， 因 此 我 们 用 上 标 表示 功 
率 谱 分 布 Sxx (f). 

注意 ， 式 (8-98) 与 o= 2x f 的 特征 函数 ( 见 第 5 章 ) 有 相同 的 形式 : 


Prw) = | expla) dF (x) (8-99) 


虽然 式 (8-98) 是 一 个 仁 里 叶 反 变换 ， 而 Bx (w) 是 全 里 叶 变 换 ( 用 一 w 代替 w)。 由 于 S& Cf) 
是 一 个 分 布 ， 它 具有 下 列 性 质 : 
e 极限 。 
Jim Six (f) == 0. limSkx (f) /Rxx (0) =] (8-100) 
e 递增 。 对 于 f. < f; : 
Six (fi) < Sk Cfo) (8-101) 
e 右 连 续 。 
唯一 需要 注意 的 是 ， 因 为 随机 过 程 的 总 平均 功率 不 限定 为 1，S%x(f) 必 须 经 过 


Rx (0) 一 | dS Cf) 的 归 一 化 ， 以 得 到 式 (8-100) 中 的 上 极限 1。 虽 然 两 个 密度 函数 
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fx DM Sxx (六 是 非 负 实 数 ， 它 们 有 一 个 重要 区 别 ， 功 率 谱 密度 必须 是 偶 函 数 。 这 意味 着 
功率 谱 分 布 函 数 具 有 另外 的 性 质 ， 

e 中 心 归 一 化 。S 必 (0)V/Rxx(C0) 一 172 

如 果 SREZ, WA dS = Sx Pdf. MR SQ&%(f) 有 不 连续 点 ,6 函数 可 以 
用 于 表示 Sxx (了 ) (类 似 于 表示 离散 和 混合 随机 变量 的 fx >))., 

HEES J. 8-2 发 现 ， Rxx (zt) 二 Bexp( 一 a|r | ) 的 Sxx (f) =2Ba/(An’ f° +0"). 对 应 的 
功率 谱 分 布 函 数 是 : 

Sx) =2pa| ape 


= (B/x)arctan(2xf/a) |£ = (B/n)arctan(2nf/a) + B/2 (8-102) 
观察 发 现 ".S% (co) 二 8， 而 B 刚 好 是 Rxx (0)= 二 8 的 随机 过 程 的 功率 。 分 别 令 B 二 1， a=2, 
得 到 Sxx (有 和 SXx(f)， 如 图 8-8 所 示 。 








图 8-8 例 8-5 中 的 功率 谱 密 度 和 功率 谱 分 布 ， 其 中 a 二 2， B=1 < 
假设 谱 分 布 分 段 线性 : 
0， f = fu 
sn -ni IIS (8-103) 
2, f >f, 
其 中 ， 万 之 0， 相 应 的 功率 谱 密度 为 : 
sain (tig, SISA sp 
这 是 一 厅 面 积 为 2 的 矩形 ; Sx (M=A/fidrect(f/2f,), EE B 482 ë # 3 
Ryx (z) = 2sinc(2 f, z) (8-105) 
总 平均 功率 Rxx (0)=2, 5 SoM. 


8.7 互 功 率 谱 密度 


随机 过 程 X(t) 和 Y(1) 的 互 功率 谱 密 度 的 计算 与 Sxx (w) 的 计算 方法 相同 。 
由 帕 斯 瓦尔 定理 ,功率 可 以 表示 为 : 


Py = 二 | Sxy(w) da (8-106) 
2nJ -~ 
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其 中 ， 
Sxy (w) 全 lim(1/2T)eLXCw)Y” (w)] (8-107) 


代 和 人 傅 里 时 变换 得 到 : 
Sx (w) = lim == reff X(t exp(— juts dts | YC, )expGute des | 


= lim a Ë Ray GQ st, exp(— jw(t; — t,)) dt, dt, (8-108) 
ZTJTI 


T= 


从 Sxx (w) 推 导 过 程 可 以 看 出 ，Sxy (wo) 的 计算 步 又 大 致 相同 ， 定 义 如 下 。 
定义 ( 互 功率 谱 密度 ) -广义 平稳 过 程 Xi 和 Y(i)， 假 设 互相 关 函 数 Rir(r) 全 ELX(CD) 
Y(t 十 r)]， 则 互 功率 谱 密度 为 : 


Sro) = | Rw exp jwr)dr (8-109) 


其 中 四 是 角 频 率 。 

(注意 ， 一 些 书 定义 互相 关 函 数 为 ELX(t 十 rc)Y(t)]。) 自 变量 为 上 和 xs 的 其 他 形式 的 功 
率 谱 密 度 ， 以 及 那些 自 变量 为 jw 和 > 的 随机 序列 的 功率 谱 密 度 ， 也 可 以 用 于 定义 互 功率 
谱 密 度 。 

随机 过 程 {X(t); Y(1)}) 的 互 功率 谱 密度 具有 下 列 性 质 。 离 散 时 间 序 列 {(X[k]，Y[L&kj]} 
的 互 功率 谱 密度 Say (jw) 具 有 类 似 的 性 质 。 

° 下 标 非 对 称 性 。 Syx Cw) = Sxy (—w) = Srxy(o@), 由 互相 关 性 质 Ryx (z) =Rxy( —tz):; 

Ca Be [7 Ree Get jar dea |a Ro et lorii 8400) 

做 变量 替换 a= r, HF: 

Bs tab = | Rw ete t E EE (8-111) 
HT(X(G), YAH, ERS Som AA. 

e 偶 部 分 。ReLSxr(o)] 是 偶 函 数 。 从 Sxy(w) 和 Syx (w) 的 定义 ; 

kel Saloi Lee | RecoeosCor)dr os Rel She) (8-112) 
其 中 利用 了 cos( 一 or) = cos(orf)。 再 利用 第 一 个 性 质 ， 可 以 得 到 Rel Sxy (6) ] = 
Re[ Sxy (一 w) ,这 是 偶 函 数 的 定义 。 

e 奇 部 分 。 Im[ Sx (w) | 为 奇 函 数 。 使 用 类 似 前 面 证 明 的 方法 : 

Im[ Sxy (wo) ] =- 一 | Rw (sin(wr)dr == ol a (8-113) 
其 中 利用 了 sin(—wr)=—sin(wr), 再 利用 第 一 个 性 质 ， 可 以 得 到 Im[ Sxy (o) ]= —Im 
[Sxwy( 一 w)]， 这 是 奇 函 数 的 定义 。 ; 
e 正 交 性 。 若 XAA Y(t) E, 则 Rxy (z)=0, Sxw(w)=0, 由 定义 得 到 对 于 所 有 Ts 
Rxy(t)=0, Sxy (w) =0. 

e MK. E X(0O#I Y A 482, M Ry =ELXxW]JELY a+r], BA Sy = 

2rpxpyd(w). HAIER, Ry z) =ELXMYVU+2) J=pypy 是 一 个 常数 。 因 此 ， 


St a | exp(— jwr) de EE (8-114) 
KENTA AY AEEA ya ó 函数 。 普 通 频 率 的 相应 结果 是 : 
Sal P= RA (8-115) 


如 果 任 一 过 程 具 有 零 均 值 ， 这 往往 是 工程 中 的 实际 情况 ， 互 功率 谱 密度 是 零 。 
我 们 也 可 以 定义 互 功率 谱 密度 分 布 。 
定义 ( 互 功率 谱 分 布 ) 互 功率 谱 分 布 Sky (f) 
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Ree) = | exp(j2xfr)dS® ( f) (8-116) 
其 中 Rea ipat Xa), YO) HH AK BK, 
互 功率 谱 分 布 具有 与 Sxx(f) 相 同 的 三 个 性 质 ， 并 且 如 果 它 可 导 ， 则 : 
dS = Sw (Pdf (8-117) 
在 8.8 节 中 ， 我们 将 考虑 输入 为 随机 信号 的 一 些 系统 。 这 里 ， 我 们 讨论 滑动 平 
均 (Moving Average，MA) 滤 波 器 (本 章 后 面 也 将 介绍 ) 的 一 个 简单 例子 。 假 设 自 相关 函数 
Rxx [mj 二 6Lmj 的 随机 序列 X[k 通过 脉冲 响应 h[k&] 二 6[k&] 十 6[k 一 1] 的 滤波 器 ， 输 出 序列 
Y[&] 二 X[&] 十 X[k 一 1]。 互 相关 函数 为 : 
Rx [m] =£#[X[#]X[k +mJ]]-+ £[X[#]X[# +m —1]] 


; =ëà[m ]+ ó[m — 1] (8-118) 
互 功率 谱 密 度 为 : 
Sxr (jo) = N Em] + dm — 1])exp(— jom) 
=] + exp(— jw) = 2exp(— jw/2)cos(w/2) (8-119) 
观察 发 现 
Rel Sxy Go) | = 1+ cos(w) ,Im[ Sxy (jw) | = sin(w) (8-120) 


分 别 是 偶 函 数 和 奇 函 数 。 我 们 也 可 以 写成 
Ryx [m] =e X[k] X[k +mJ] + £[X[# —1] X[k + m]] 
=à[m]+ [m +1] (8-121) 
因此 : 
Syx (jw) = 1+ exp(jw) = 2exp(jw/2)cos(w/2) (8-122) 
从 中 可 以 得 出 Syx (jw) = Sxy (jw) = Sir lw). 
在 许多 工科 课程 中 , 因为 信号 与 系统 假定 为 因果 的 ， 所 以 只 研究 了 单 边 变换 。 然 而 ， ar 
Fi FAK PRE PR, DR RE AE V HJH OL Ee HSE C Le RS Hi Y (8 as 
换 、 离 散 时 间 傅 里 叶 变换 、 拉 普 拉 斯 变换 和 变换。 在 8. 8 节 中 ， 我们 将 探讨 经 过 因果 线性 时 
不 变 系 统 滤波 后 ， 随 机 过 程 XCD) 的 功率 谱 密度 是 如 何 改变 的 。 因 此 ， 单 边 和 双边 变换 的 组 合 将 
用 于 研究 滤波 后 的 信和 号。 当然 ， 我 们 可 以 一 直 使 用 双边 变换 ， 在 积分 中 包含 单位 阶 路 函数 以 获 
得 单 边 的 结果 。 所 以 一 定 要 谨慎 利用 表 中 的 双边 变换 对 (以 及 是 否 将 时 域 函数 乘 以 O), 


8.8 输入 为 随机 信号 的 系统 


虽然 许多 系统 是 多 输入 和 多 输出 的 , 但 本 章 侧 重 研究 单 输入 和 单 输出 (single-input 
single-output，SISO) 系 统 ， 如 图 8-9a 所 示 。 假 设 输入 是 已 知性 能 的 随机 过 程 X(z)， 例 如 
它 的 一 阶 矩 和 二 阶 矩 ， 或 者 它 的 概率 密度 函数 以 及 是 否 相关 。 通 常情 况 下 ， 系 统 分 析 或 设 
计 的 目的 是 改变 信号 X(t)， 以 产生 满足 要 求 的 输出 Y(t)。 例 如 ,XX(1) 可 能 是 包含 加 性 品 
声 的 通信 信号 ， 系 统 的 目的 是 对 信号 X(7) 进 行 滤波 以 减少 噪声 ， 并 且 不 影响 感 兴趣 的 洪 
在 信号 。 图 8-9b 给 出 了 均衡 器 的 结构 ， 其 目的 是 补偿 发 射 序列 XLA] 通 过 信道 及 (zx) 后 的 
失真 。 图 8-9c 给 出 了 系统 辨识 的 结构 ， 其 中 G(z) 为 百 (z) 的 一 个 模型 ， 通 过 输入 序列 
X[kj 和 输出 序列 YLA] 的 测量 结果 得 到 。 当 然 ， 在 具体 实现 中 ， 各 种 滤波 器 针对 的 是 随机 
序列 的 现实 。 像 前 面 章节 那样 ， 我 们 用 概率 表示 来 描述 如 何 处 理 现 实 的 合集 。 

一 般 地 ， 系 统 可 以 分 类 为 :〈 i ) 线 性 和 非 线性 ; ( i ) 不 随时 间 变 化 和 随时 间 变 化 。 线 
性 系统 满足 又 加 性 ， 因 此 如 果 确 定性 信号 c OA xs(t) 对 应 的 输出 分 别 为 y(t) 和 y (1) 
的 ， 那 么 输入 a A) Herr: (2) 对 应 的 输出 为 ciy1(2) 十 czyz(t)， 其 中 人 {c,} 是 常数 。 虽 然 大 
多 数 物理 系统 非 线性 且 难 以 分 析 和 控制 ， 但 很 多 可 以 用 线性 模型 合理 地 近似 ， 尽 管 可 能 只 
在 有 限 的 动态 范围 和 有 限 的 持续 时 间 内 。 在 本 章 中 , 我们 只 研究 线性 时 不 变 系 统 ， 因 为 它 
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们 可 以 由 冲 激 响应 函数 描述 ， 且 输出 由 卷 积 获得 (第 1 章 回顾 了 这 些 连续 和 离散 系统 ) 。 













X(t) MET Y(t) 信道 均衡 器 
输入 信号 NE a oe 输出 信号 X[k | i i ° D ae filly k Eat s: k f YIK 
随机 过 程 随机 过 程 HQ 1 pr | 


X(D) 的 现实 x( 办 通过 系统 后 ， 得 到 XD 的 现实 y(D 


a) 


Xi RIK 
观察 到 的 观察 到 的 
输入 序列 一 输出 序列 


Yid 
估计 的 输出 序列 


c) 


图 8-9 线性 时 不 变 系统 。a) 单 输入 单 输出 系统 ;，b) 信道 均衡 ; c) 系统 辨识 


但 是 ， 我 们 首先 简要 地 考虑 无 记忆 非 线性 系统 ， 在 任何 时 刻 的 输出 仅 取决 于 当前 时 刻 
的 输入 。 
8.8.1 非 线性 系统 
无 记忆 非 线性 系统 可 以 看 作 任意 时 刻 输入 的 随机 信号 的 变换 或 映射 ， 因此 
YG) = g(XG(z)) (8-123) 
其 中 g(。) 是 一 个 确定 性 函数 。 工 程 中 常见 的 例子 如 X° (和 符号 函数 sgn(X(t))。 由 于 
系统 无 记忆 ， 从 而 不 存储 过 去 时 刻 的 输入 值 ， 可 以 应 用 第 4 章 随机 变量 变换 的 方法 。 如 果 
函数 随时 间 变 化 ， 用 符号 表示 就 是 g(X(1),t), 只 需要 考虑 当前 变换 以 确定 输出 的 特性 。 
当然 ， 如 果 变 换 变 化 ， 即 使 输入 平稳 ， 输 出 也 是 非 平稳 过 程 。 
考虑 随机 序列 X[k] 的 非 线 性 滤波 器 : 
Y[k] = sgn( X[ £ ]) (8-124) 
# ABH: 
X[k] = SLk] +WLk] (8-125) 
其 中 SLAJ] 是 样本 为 士 1 的 独立 同 分布 的 对 称 伯 努 利 序列 ，WI[kj] 是 方差 为 o% 的 加 性 高 斯 白 
w% Æ (Additive White Gaussian Noise，AWGN) 序 列 。 显 然 ，Y[k] 也 是 样本 为 土 1 的 伯 努 
利 序列 。 假 设 SLR] 和 三 [大 独立 ， 从 第 和 汪 章 知 道 XLR] 的 概率 密度 函数 为 : 
Fe (z) My vee * fwa (w) 


_[é(z 一 1 一 v) 十 6(z 十 1 一 wv) Jexp(— z 2 /20% ) dv 








E | 
zg (a — 1y} /20%) + exp(— (x + 1)2 /20%) ] (8-126) 
图 4-33 给 出 了 这 种 双 峰 概率 密度 函数 的 例子 。 滤 波 器 输出 序列 的 概率 密度 函数 为 
free Cy) = (1/2)L6(y—1)++6(y 二 +1)] (8-127) 


这 种 类 型 的 非 线性 滤波 器 是 通信 检测 的 一 个 例子 : 传输 信号 1 或 一 1 受 高 斯 噪声 影响 ， 
对 应 的 概率 密度 函数 如 图 4-33 所 示 。 当 士 1 等 概率 时 ，sgn(X[k]) 是 从 XR] Hit SLA] 
的 最 优 决策 器 。( 第 10 章 将 进一步 讨论 信号 检测 )。 不 同时 刻 YLR] 的 矩 可 以 直接 利用 X[k] 
的 概率 密度 函数 计算 : 


E[YLk]] =, sgn(z) fxw (z)dz = 0 (8-128) 


323 


324 


第 二 部 分 ”随机 过 程 、 系 统 与 参数 估计 


这 是 因为 sgn(。) 是 奇 函 数 ，XLA] 的 概率 密度 函数 为 偶 函 数 。 又 因为 到 LA 一 1， 


ECY [RT] = | [和 Pacaydz =f] (8-129) 
这 些 结果 也 容易 使 用 .Ara(Cy) 获 得 。 < 


如 果 S[k] 的 样本 不 是 等 概率 的 ，P(S[k]=1)==p R P(S[k]=—1)=1—pAq, II 
XLA] 的 概率 密度 函数 为 : 
1 





Exile = ; [ pexp(— (x — 1)? /2a%) + qexp(— (a+ 1)?/2a%)] (8-130) 
Tow 
p=3/4 的 图 形 如 图 8-10 所 示 。 符 号 函数 输出 的 概率 密度 函数 为 : 
fx (y) = (0. 7386) dCy — 1) + (0. 2614)6(y + 1) (8-131) 





5 i 0 5 
x, y 


图 8-10 il 8-8 中 对 称 伯 努 利 序列 的 概率 密度 函数 ， 其 中 样本 为 土 1， 加 性 高 斯 白 噪声 的 方差 为 1，Z 一 3/4 
其 中 由 于 p>q: 


| Frew Cz)dz = 0. 73986, [free (dda = 0,.2614 (8-132) 
输出 具有 以 下 和 矩 : 
£[Y[k]] = 0:4772, z[TY2[k]] = 1 (8-133) 
对 于 这 种 情况 ， 由 于 XL& 的 概率 密度 函数 不 再 是 偶 函 数 ， 符 号 函数 不 是 最 佳 检测 器 。 
如 果 p>1/2, S[k]=1 更 可 能 是 发 送信 和 号， 接收 机 需要 考虑 这 种 情况 。 这 意味 着 ， 符 号 函 
数 检测 器 与 0 的 交点 应 向 原点 左边 移动 ， 平 移 量 取 决 于 p 的 值 。 
第 12 章 讨论 了 其 他 非 线 性 系统 的 例子 。 
8.8.2 线性 系统 mi 
对 于 不 一 定时 不 变 的 线性 系统 ,滤波 器 输出 的 随机 过 程 Y(2) 通 过 下 列 积分 得 到 : 
Y(t) = [AG XG) dz (8-134) 
其 中 XO ERM A BJ BESLPÇÓE hO, z) 是 该 系统 的 确定 性 冲 激 啊 应 函数 。 由 线性 系统 的 到 加 性 
得 到 时 变 系 统 的 这 个 积分 : htr) 分 别 取决 于 上 和 r。 对 于 线性 时 不 变 系统 , hits) = hGt— r) 
仅 取 决 于 时 间 差 ， 而 不 是 分 别 与 上 和 有关 。 冲 激 响 应 函数 通过 令 输 大 为 狄 拉克 ó 函数 ， 再 
利用 取样 特性 得 到 : 
yay = | ac 一 DaCoDdr = AW) (8-135) 


由 冲 激 函数 6(z) 可 以 得 出 冲 激 出 现 的 时 刻 为 r 二 0， 进 而 得 到 h(i 一 7) 在 该 时 刻 的 取 值 。 
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对 于 时 变 系统 ， 冲 激 响应 是 


yt) =|" ht) dr = h(t,0) (8-136) 

MEB KARE 1, RE LE a a: 
y(t) =| AG, DG- Dar = hG.1) (线性 ) (8-137) 
yy =[ kG = Dd Dde 一 h(t 一 1) CREAR (8-138) 


线性 时 不 变 系统 的 输出 同样 有 平移 ， 而 时 变 系 统 的 输出 就 更 复杂 了 。 为 了 使 系统 因 
果 ， 需 要 满足 如 下 条 件 :一 一 





h(t,t) =0,4t<r (线性 ) (8-139) 
h(t 一 zt) =0, %4 t< >h) =0 <0) (线性 时 不 变 ) (8-140) 

品 时 时》 假设 线性 系统 的 冲 激 响 应 为 
h(tyt) = exp(—tr)u(r)u(t — z) (8-141) 


其 中 单位 阶 跃 函数 w(t 一 5) 确 保 1 二 tr， 满足 因果 系统 的 条 件 。 显 然 ， 这 是 一 个 时 变 系统 ， 
困 为 随 着 z 的 改变 系统 响应 发 生变 化 。 对 于 线性 时 不 变 系统 ， 有 : 

h(t— z<) = exp(— (t—1)) ul(r)ult— r) (8-142) 
其 形状 不 随 t+ 的 变化 而 变化 。 假 设 系 统 的 输入 为 Z(t) 二 exp( 一 t)u(t) 对 于 时 变 系 统 : 


y(t) =| exp tr) exp(— r)dr 


ae exp(— r(t+1))dr = wl a — exp(— # — š) lul (8-143) 
0 t+1 
线性 时 不 变 系 统 相 应 的 结果 是 : 

y(t) =| exp(— (t— r))exp(— r)dr 


=| exp(— t)dr = texp(— t)u(t) (8-144) 
如 果 输 入 有 时 移 w(t) 二 exp( 一 (1 一 1))u(t 一 1)， 时 变 系统 的 输出 是 : 
y(t) =| ee eee de 


_ exp(]) Ponca kas | s Rd t 
EPT t—1)—exp(— 2 —t)]ult— 1) 





= + [exp(— D = exp(— £ —t+ 1)Ju(t— 1) (8-145) 
而 对 于 线性 时 不 变 系 统 : 
yt) =f ape ep Tee 
1 


=| exp Ge EG eG (8-146) 


图 8-11 给 出 两 个 系统 的 结果 ， 可 以 看 出 ， 时 移 后 的 输入 信号 经 过 时 变 系 统 后 ， FA 
了 更 为 复杂 的 输出 信号 ， 而 不 像 线 性 时 不 变 系 统 那样 只 进行 了 简单 的 时 移 。 
接 下 来 ， 我 们 讨论 输入 为 随机 信号 时 ， 线 性 时 不 变 系 统 的 信号 表示 。 系 统 输入 、 输出 
AY A AK R CE : 
Ry (z) =ELXMYC+ z) ] 


=e[ xof h@+1—a)X(a)de | (8-147) 
是 均 方 意义 下 的 积分 。 交 换 积 分 和 期 望 顺序 : 
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0 0.5 1 t.S 2 2.5 3 
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图 8-11 f) 8-9 中 时 变 和 线性 时 不 变 系统 的 输出 波形 。 对 于 时 变 系 统 ， 输 入 信号 的 时 移 不 能 
产生 输出 信号 的 简单 时 移 


Ry (z) =|" h(t +r—a) ELX(t) X(o) |da =f" h(t+r—a)Rxx(a—t)da (8-148) 


这 里 假设 XO) SOF RB. HM v 会 a 一 :， 整 理 上 式 得 到 :“ 


Ree) 一 | aCe o)Ra Codu (8-149) 
它 是 Rxx OM AO We: 
Rx (z) = Rex (z) * h(t) (8-150) 
同样 地 ， 我 们 可 以 证 明 
Ryx (z) = Rxx (z) * h(— r) (8-151) 
及 (见习 题 8-17) 
Ryy (z) = Rxx (z) * h(z) * h(— z) (8-152) 


Rxy(zr) 的 功率 谱 密 度 为 : 
Swt =|" Ryy (x) exp(—j2afc)de 


—o 


=]. | h(r—a)Rxx (a) exp(— j2x fr) dade (8-153) 


代入 t=r—a, Bl: 
Swf) =| | AOR (adexp(—j2n fe + a))dadt 


oo 


=| A(Dexp(— j2nft) de] Rxx (a) exp(— j2n fa) da 


=H(f)Sx(f) (8-154) 
这 里 利用 了 Sxx OAR RM. BF. 
Syx (f) = H(— fo Sxx( f) (8-155) 
及 (见习 题 8-18) 
Syr (f) = H(f) H(— f) Sxx Cf) (8-156) 


xT SE he WY AK. H(—f)= H` (f), Mit 


Sw(f) = |H) |? Sx (f) (8-157) 
K 8-3 总 结 了 角 频 率 o 以 及 使 用 五 (3) 的 相应 结果 。 同 样 包括 了 使 用 H GoM H (z) BY 


随机 序列 的 相应 结果 。 
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表 8-3 ”线性 时 不 变 系统 和 概率 密度 函数 


连续 时 间 系 统 


离散 时 间 系 统 





Syy(w) = | H(w) | *Sxx (o) 
Syy (s) = H(s) H(—s) Sxx (s) 
Sxy (@) = H Cw) Sxx (a) 

Sxy (5) = H(s) Sxx (s) 

Syx (w) = H(—w) Sxx (w) 


Syy Geo) = | H Gwd | *Sxx Gw) 
Syy (2) = H(z) H( 27!) Sxx (z) 
Sxy (ja) = H (jw) Sxx (jw) 

Sxy (2) = H(z)Sxx (z) 

Syx Ga) = H ( — jw) Sxx (Jo) 





Syx (3) = H(—s)Sxx (s) Syx (z) =H(*-1)Sxx (z) 


在 这 个 例子 中 ;- 我 们 演示 了 上 均值 为 0， 方差 为 1 的 不 相关 高 斯 序列 的 滤波 效 
果 ， 如 图 8-12a 所 示 。 滤波 器 的 冲 激 响应 为 : 
h[k] = = olk — m] 
其 中 N 一 3。 滑 动 平均 滤波 器 具有 有 限 脉 冲 响应 (FIR)( 见 第 工 章 )， 传 递 函 数 为 : 


(8-158) 


末 (jo) = (1/3) >) exp(— jk) = (1/3)exp(— jw) (exp(jw) + 1 + exp(— jw)) 
< 


=(1/3)exp(— jw)[1+ 2cos(w) | (8-159) 
由 于 Sxx (jw)=1, 输出 的 功率 谱 密 度 为 : 
Syr Gw) = | H(jo) |? = (1/9)[1 + 2coslw) J (8-160) 
HK BRET: 
RyyEm] = (1/9) 38m] + 28[m — 1] + 26fm + 1] + ó[ m — 2] + ó[m + 2]) 
(8-161) 


它 也 很 容易 通过 hkl AL 一 个 的 卷 积 获得 。 图 8-13 m H T Syy (jw) 和 Ry [m], E 8-12b 
给 出 了 一 个 滤波 器 的 输出 现实 ， 显 而 易 见 ， 该 输出 是 相关 的 。 


3 滤波 器 输入 P 


滤波 器 输出 





= -3 
0 200 400 600 800 1000 0 200 400 < 600 800 1000 
a) b) a 
图 8-12 fJ 8-10 中 线性 时 不 变 系统 的 现实 。 a) 不 相关 的 高 斯 输入 X]: b) 滤波 器 的 相关 输出 YLA] 
i 0.33 
0.28 
0.8 
% _ 0.22 
$06 $017 
WY 
04 0.11 
0.2 0.06 
sam r O us” eee! a] 0 1 2 
w m 
a) b) 


图 8-13 


例 8-10 中 不 相关 高 斯 序列 的 滤波 结果 。 
b) 滤波 器 输出 的 自 相 关 函 数 


a) 滤波 器 输出 的 功率 谱 密度 ; 


3 


N 
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8.9 通 带 信号 


到 目前 为 止 ， 我 们 主要 研究 了 功率 谱 密度 在 原点 附近 分 布 的 随机 信和 号， 这 些 信号 也 叫 
做 基带 信和 号。 在 大 多 数 通 信 系统 中 ， 感 兴趣 信号 的 功率 谱 密 度 在 中 心 频率 大 附近 分 布 ， 


其 中 /.> 0 这 样 的 信号 称 为 通 带 信号 。 Sxx(f) 
图 8-14 画 出 了 基带 和 通 带 信号 的 Sx(f)。 ' F a 
”观察 发 现 基带 信号 的 单 边 带宽 为 B(f 宇 0)， EN 1/4 
而 通 带 信号 的 单 边 带宽 为 2B。 这 是 因为 通 : : 
带 信号 通常 是 基带 信号 经 过 载 频 为 .的 。 <。 eeu) C, 
正弦 信号 调制 而 成 。 当 通 带 信号 的 带宽 Si oo p 5 
Bf. 时 ， 称 该 信号 为 窄带 通 带 信号 。 
EIIE, HAHEN B. Bi XOR 过 程 Y(D) 
以 载波 频率 为 f- 的 正弦 波 ， 
Y(t) = X(t)cos(2r f.t) (8-162) 
为 确定 Swf). th AAMC: 
Ry (z) = ELX(2)cos(2xf.t)X (t+ r)cos(2xf-(t+ 7))] (8-163) 


Eln, z] EAA AREOLA I 更 通常 包括 在 余弦 的 自 变量 中 。 工 程 中 采用 这 种 方法 
建 模 时 ， 余 弦 不 一 定 对 齐 随 机 过 程 的 起 始 时 间 。 假 定 随 机 相位 和 随机 过 程 不 相关 ， 得 到 ， 
Ry (z) 一 ELXCDXC 十 z)] €[cos(2z fat + ®)cos(2nf.(t+ 7) + @)] 
=(1/2)Rxx (z) €[cos(2z fer) + cos(2x f. (2t + r) + 26)] 


=(1/2)Rxx (r)cos(2n f.r) (8-164) 
其 中 利用 了 余弦 在 随机 相位 上 的 平均 值 是 零 的 条 件 。 利 用 传 里 时 变换 的 调制 性 质 ( 见 附录 C) : 
Sy y (f) = (1/4)[Sxx Cf — fA + Sixx f + FJ (8-165) 
式 (8-162) 中 的 窗 带 通 带 过 程 写成 随机 相位 过 程 6(2) 的 形式 如 下 : 

Y(t) = X(t)cos(2xf.t + @(t)) (8-166) 

这 里 假设 X(z) 和 pG 42. AA=ABSR, KPRARATUGM FIERE: 
Y(t) = X;(t)cos(2xf.t) — Xqg@)sin(2xrf.t) (8-167) 

其 中 

X(t) 2 XG(t)Dcos(@(t)), Xo(t) 2. X(t) sin(O(2)) (8-168) 


分 别 是 通 带 过 程 的 同 相 和 正 交 分 量 。 当 没有 相位 过 程 时 ，Y(i) 仅 具有 同 相 分 量 : X= 
X(t), Xoa(t)=0。 
事实 证 明 ， 因 为 没有 假设 B(7) 的 相关 性 ， 式 (8-168) 中 的 X (OM Xa) hI Á HX A 
(与 功率 谱 密 度 ) 不 容易 得 到 。 然 而 ， 假 定 Y(2) 广 义 平稳 ， 那 么 可 以 得 出 X1(t) 和 X. () BJ 
一 些 性 质 。 首 先 ， 显然 
ELY Ge) J = ER Et R60 (8-169) 
如 果 不 是 这 种 情况 ,那么 由 式 (8-167) 可 以 得 出 EL[Y(t) 时 变 ， 这 与 假设 Y(t) 广 义 平稳 
相悖 。 接 下 来 ， 得 出 自 相 关 函 数 E[Y(2)Y(t 十 t)] 二 Ryy (zr)。 为 了 使 其 取决 于 tr， 观 察 
ELYMY (+7) ] =£[X,G) X, (t+ 2) cos(2rf,t) cos(2nf.(t + r)) ] 
+ €[Xe() Xo (t + r)sin(2rf.t)sin(2nf.(¢+ 7)) J 
— ELX,(t1)XQ(t+ r)cos(2xf,t)sin(2xf. (t+ z)) J 
— €[Xo(t)X,(t+r)sin(2xf.t)cos(2nf.(t+r))] (8-170) 
利用 三 角 恒 等 式 重 写 上 式 ， 得 到 : 1 
Ryy (z) =(1/2)[(Rx,x, (z) + Rxgxg (z) )cos(2x f.r) 


+ (Rx, x, (r) — Rx x, (z) cos(2xf, (2t + 7)) 
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一 (Rx, x, (z) — Rx,x, (z) )sin(2z f.r) 


= (Rxx, (z) + Rx,x, (D sin(2xf.(2t + z)) ] (8-171) 

HAYO TLF, AUE t 的 各 项 必须 为 0， 得 到 相关 函数 的 下 列 条 件 : 
Rx x, (z) =Rx,x, Ne (8-172) 
Rx x, (7) == Ky x, VED =— Rex. 《一 r) (8-173) 


其 中 最 后 一 个 等 号 对 于 任何 互相 关 函 数 都 成 立 。 对 于 窄带 通 带 过 程 ， 我 们 看 到 同 相 和 正 交 
分 量 的 互相 关 必 须 是 奇 函数 (一 般 不 成 立 )。 从 而 


Rx,x, (0) = 0 (8-174) 
Ryy Ge) = Rx,x, (z)cos(2= fer) — Rx, x, (z)sin(2zf.z) (8-175) 

观察 发 现 ， 只 有 当 r=0 时 ， Rx;x, (z), Rx x, Cr) 和 Ry (OMS: 
Rx,x, (0) = Rx,x, (0) = Ryy (0) (8-176) 


因此 ， 所 有 三 个 过 程 具有 相同 的 方差 (因为 都 是 零 均值 ) 。 我 们 也 可 以 写 出 相应 功率 谱 
密度 的 表达 式 。 利 用 传 里 叶 变 换 的 调制 性 质 : 
Sw (f) =(1/2)[Sxx, (f — f.) + Sx,x, (f + f.)] 
— (1/2) Sxax,kf— Fd — Sez, Lf Ly) (8-177) 
因为 自 相 关 函 数 是 一 个 正 交 信号 ， 功 率 谱 密度 需要 包含 虚数 项 。 从 式 (8-176)， 三 个 
功率 谱 密 度 的 平均 功率 相等 : 
oss pap= |" sixs pat = | Sep (8-178) 
第 10 章 介 绍 通信 系统 时 ， 将 再 次 考虑 通 带 信号 。 
8.10 ÁRA 
噪声 在 一 定 程度 上 出 现在 所 有 实际 的 信号 与 系统 中 。 我 们 比较 感 兴趣 的 是 具有 平坦 功 
率 谱 密度 的 噪声 。 
定义 ( 白 噪声 过 程 ) 对 于 任意 /ER， 如 果 广 义 平稳 随机 过 程 XQ) 具有 平坦 功率 谱 


密度 
Sxx (f) = N,/2 (8-179) 
ikili 2 BBS. Jd 3, HAHAAH 
Rxx (z) = (N,/2)8(%) (8-180) 


因此 Cxx (z) = Rxx (t). 

N, 的 单位 是 W/Hz。 它 被 称 为 白 噪 声 ， 因 为 (ji ) 波 形 有 一 个 嘲 杂 的 外 观 ( 在 可 听 频 率 
范围 内 听 起 来 像 噪声 ); (ii ) 所 有 频率 相等 (频谱 平坦 )， 这 类 似 于 白色 光 在 电磁 频谱 的 可 
见 范围 内 的 性 质 (在 波长 范围 内 平坦 ) 。 此 定义 不 涉及 白 曲 声 的 分 布 ， 它 可 以 是 任何 类 型 ， 
尽管 通常 假设 高 斯 概率 密度 函数 。 

定理 8-5 式 (8-180) 中 自 相 关 函 数 对 应 的 白 噪声 随机 过 程 必 须 具 有 零 均 值 。 

证 明 : 该 结果 是 式 (8-179) 定 义 的 性 质 的 结论 。 令 Y(ti) 三 X(b 十 pr， 其 中 和 X(b 具 有 零 
均值 和 式 (8-180) 中 的 自 相关 函数 。 假 设 py EF. YOW AHAA E 

Ryy (z) = ELX) +y) Xt +z) + py) ] = (N,/2)6(z) + py (8-181) 
其 中 功率 谱 密度 为 : 
Syy (f) = N,/2 + 6 (f) (8-182) 

由 于 包含 出 现在 原点 的 6 函数 ，Y(i) 不 可 能 是 式 (8-179) 定 义 的 白 品 声 ， 除 非 它 的 均 
值 是 零 。 

第 6 章 讨论 过 X(Ci) 满 足下 列 条 件 时 ， 它 是 不 相关 的 随机 过 程 
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puio g IXIA z = 0 
e a ELNELLA tel eA 
与 式 (8-181) 类 似 ， 它 可 以 写成 Rxx (rt) 二 a6(zt) 十 y+。 因此 ， 具 有 平坦 功率 谱 密 度 的 白 噪声 
意味 着 不 相关 的 过 程 ， 但 是 反 过 来 只 有 当 均 值 为 零 时 才 成 立 。 

高 斯 分 布 的 白 噪 声 过 程 可 以 通过 对 维 纳 过 程 求 导 得 到 : XG = Y CO, HP YOWA 
相关 函数 为 : 


(8-183) 


Ryy (ty sta) — cmin(ti sto) (8-184) 
其 中 c==ae*( 见 第 6 章 )。 类 似 式 (7-119) 中 对 泊 松 过 程 的 微分 ,我 们 可 以 求 导 得 到 维 纳 过 程 
Al FAK RAK: 
Rexx (ty ste) - s Revise = Ge — 6) (8-185) 
这 与 式 (8- 180) 相 同 。 因此 ， 尽 管 由 于 三 三 如 时 8 函数 的 存在 ， 均 方 微分 技术 上 不 存在 ， 但 
是 可 以 看 出 ， 维 纳 过 程 的 微分 是 白 噪 声 。 
和 白 品 声 过 程 在 实际 中 不 能 实现 ， 因 为 它 的 平均 功率 为 无 穷 大 (等 于 方差 ) : 


jk = Ca (0) = Re (0) = [Sex (Pdf = = (8-186) 


然而 ， 由 于 实际 系统 中 有 各 种 滤波 器 ，X() 通 常 是 带 限 的 ， 功 率 谱 密度 只 在 某 些 感 兴 
趣 频率 范围 内 平坦 ， 其 余 频 率 为 0: 
N./2, |f|< B 
Sxx (f) = a 其 他 (8-187) 
其 中 B 是 单 边 带 宽 。 这 种 类 型 的 功率 谱 密 度 对 应 的 过 程 技术 上 不 是 白 噪 声 ， 尽 管 当 B 远 
远大 于 感 兴趣 信号 带宽 时 ， 它 称 为 带 限 白 骂 声 。 由 于 f=0 BF, Sa (PREF OO, RY 
式 (8-187) 中 的 功率 谱 密 度 对 应 为 基带 信号 。 通 带 信 号 的 功率 谱 密 度 的 形式 为 : 
ye alo Ifle Cf — B/2, f. + B/2] 
š 0, 其 他 
其 中 f. 表示 中 心 频 率 。 图 8-15 给 出 了 通 带 信号 之 一 的 调幅 (Amplitude Modulated, AM) 
信和 号 的 频谱 。 


(8-188) 


X(t) = M(t) cos(2xf.t) + N(t) (8-189) 
Sym (fr fc)/4 Sim (Fic)/4 
单 边 带宽 为 B 
的 带 限 噪声 
单 边 信息 
me: 带宽 为 W 





图 8-15 在 带 限 白 噪声 中 的 AM 信号 的 功率 谱 分 量 。N() 的 外 观 为 白 噪声 ,- 因 为 它 的 带宽 B 大 于 信息 带宽 W。 
(注意 Sw (内 与 信号 频谱 [Sw (CH 大) 十 SwCf 一 大 )]/4 分 开 显 示 。 两 个 频谱 相 加 得 到 总 Sxx CP) 
Hp, MORMU SIES. fe 为 通 带 中 心 频率 ，N(i) 是 带 限 白 噪 声 。 利 用 前 面 通 带 信 
号 的 结论 ， 可 以 直接 得 出 : 
Sxx (f) = (1/4) Sau Cf — f.) + Suu (f + f.) ] + Saw (f) (8-190) 
这 里 假设 MG 和 NCL) ARAB, 
对 于 带 限 白 品 声 ， 方 差 为 有 限 值 : 


sk |. Sxx( Pdf = N,B (8-191) 
前 面 定义 了 单 边 带宽 B， 式 (8-187) 中 功率 谱 密 度 N 前 面 有 因子 1/2， 这 是 因为 起 要 
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除 以 整个 (双边 ) 带 宽 2B( 用 以 简化 表达 式 )。 对 于 调幅 信号 ,假定 M(t) 具 有 零 均 值 ， 如 果 
随机 信息 的 功率 





w 
Pù = Rin (0) =|" ar (8-192) 
那么 接收 信和 号 的 信 噪 比 (CSignal-to-Noise Ratio, SNR) Æ 
— Pu a 
SNR = N.B (8-193) 


信 噪 比 是 接收 信号 质量 的 一 个 测度 : 它 决 定 了 信息 M(z) 能 够 可 靠 恢 复 的 程度 。 观 察 
发 现 随 着 B 的 增加 信 品 比 降低 ; 这 是 因为 出 现 了 更 多 的 噪声 。 接 收 机 前 端 滤波 器 的 目标 是 
在 不 损失 信息 的 前 提 王 尽 可 能 多 的 去 除 噪声 。 这 些 滤波 器 的 带宽 B 要 尽 可 能 接近 信息 带宽 
WW， 而 且 在 信息 频率 范围 内 的 频率 响应 要 保持 相对 平坦 。 

带 限 白 噪声 的 自 相关 函数 为 : 


B 
Rxx (z) =|" CN, /2.expG2nfeddf 
=(N,/2)Cexp(j2xBr) — exp(— j2xBr) ]/G2xr) = N.Bsince(2Br) (8-194) 
其 中 sine(r)A sin(ar)/xr 是 sinc RR. E 8-16 画 出 了 不 同 噪声 带宽 对 应 的 自 相 关 函 数 ， 


从 中 可 以 看 出 ， 主 瓣 宽 度 与 BB 成 反比 。 附 录 B 中 说 明了 
limBsine(2r) = 6(7) (8-195) 





图 8-16 不 同 单 边 带宽 B 对 应 的 带 限 白 噪 声 的 自 相关 函 数 


因此 
lim N, Bsine(2Br) = (N。/2)8(7) (8-196) 
这 是 无 限 带宽 的 功率 谱 密度 的 自 相 关 函 数 。 
接 下 来 ， 我 们 讨论 白 噪 声 过 程 和 白 噪 声 序列 的 联系 和 区 别 。 第 6 章 中 说 明了 随机 序列 
X[k] 不 相关 的 充分 条 件 是 


R Tala RERE]; m = 0 
= €[X[m]] éeLX[k+m]], m= 0 
= (ok + pk )dLm] + pk (8-197) 


Hp ok 是 有 限 方差 。 习题 8-13 证 明了 如 果 XLR 是 一 个 白 噪 声 序列 (功率 谱 密度 平坦 )， 它 
的 均值 必须 为 0， 这 与 先前 讨论 的 连续 时 间 随 机 过 程 相同 。 假 设 均值 为 0， 那么 Rxx[m]= 
ox6Lmj]。 利 用 离散 时 间 侍 里 叶 变 换 得 到 功率 谱 密 度 : 
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Sxx (jw) = Ps: Rxx [m Jexp(— jma) = ak, |o | < x (8-198) 
上 式 定 义 在 z 平面 的 单位 圆 上 。 平均 功率 (方差 ) 是 给 定 的 功率 谱 密 度 下 的 面积 
Rxx Co] = 让 | Sxx Ga) dw = ox (8-199) 


其 中 因子 1/2x 是 由 于 离散 时 间 傅 里 叶 反 变换 ( 见 附录 C 中 离散 时 间 傅 里 叶 变 换 的 面积 性 
质 ) 。 由 于 功率 谱 密 度 在 随机 序列 的 有 限时 间 进 行 积分 ， 方差 不 是 无 限 的 。 总 结 前 面 的 结 
论 ， 得 出 下 列 定 义 。 

定义 ( 白 骂 声 序列 ) ”如果 广义 平稳 随机 序列 X[k] 具 有 平坦 的 功率 谱 密 度 


Sex Geo), = ak (8-200) 
其 中 oE [一 x,xj], 那么 该 序列 称 为 白 曲 声 序列 。 它 的 均值 为 0， 自 相关 函数 为 
Rxx[m] = olm] (8-201) 


KP ok =Cxx LO] MAFF AA. Cxx [m ]= Rxx [m] 

假设 X[k1 通 过 对 连续 时 间 过 程 XC) HGS, AAPMHERE CR 1 章 确 定性 信 
号 中 已 经 讨论 过 )， 单 位 加 上 的 频率 范围 是 [一 w,/2，w/2]， 其 中 ww 二 2xf;，f; 是 抽样 频 
率 。 在 数字 信号 模型 中 通常 使 用 [一 ,zj] 的 原因 是 出 于 数学 便利 常 取 f, 二 1/T; 二 1， 从 而 
土 w,/2 二 十 xf; 悦 士 x。 当 仅 分 析 离 散 时 间 信 号 时 ， 这 种 简化 很 有 用 。 但 是 ， 当 需要 实现 实 
时 (连续 ) 系 统 时 ， 必 须 考虑 用 于 产生 序列 的 抽样 率 ， 并 且 有 必要 使 用 [一 w,/2，w,/2] 作 为 频 
域 范围 。 

第 1 章 说 明了 可 以 通过 变换 x 二 exp(s) 从 拉 普 拉 斯 变换 得 到 z 变换， 该 变换 将 s 平面 
上 的 虚 轴 映射 成 < 平面 的 单位 圆 。 因 此 , [一 w,/2，w,/2] 上 的 功率 谱 密 度 在 ao, 的 整数 倍 上 
重复 。 


Sxx,(w) = o& >) rect(w/w, — k) = cx (8-202) 


k=— 


其 中 不 重叠 的 相 邻 矩形 函数 结合 在 一 起 ， 得 到 图 8-17 所 示 的 所 有 wE 及 的 平坦 响应 。 功 率 
谱 密度 也 可 以 写成 普通 频率 f 和 抽样 频率 f, 的 形式 : 


Sxx, (f) = ok >) rect( f/f, — k) = ok (8-203) 


k= 


TER Sxx,( 放 是 抽样 过 程 X. pias rad u- Ee) HERE. WaT Xt XC) 
进行 抽样 并 从 样本 中 重建 它 ，Sxx (PD rr 
是 带 限 信号 。 从 而 ，X(i) 的 频谱 实际 上 是 

Sxx (f) = ox rect(f/f,) (8-204) 

假设 X(z) 的 抽样 频率 是 f,， 如 上 所 述 
功率 谱 密 度 在 f, 的 整数 倍 上 重复 ， 得 到 平 
坦 的 频谱 ， 如 图 8-17b 所 示 。 该 重复 频谱 平 
坦 只 是 因为 XC) ATE ETE [— f./2,f./2] oe — 
上 非 0 的 和 矩形 函数 。( 当 然 ， 这 种 理想 函数 i 
不 可 能 在 实际 中 实现 。 在 这 里 用 它 来 说 明 
X(t) 和 X[k] 的 联系 ,) 因 此 ， 连 续 时 间 过 程 
X(t) HY AAA eA SEO 函数， 而 是 : 

Rxx (z) = akT,sinc(z/T,) (8-205) we 
如 图 8-18 所 示 。 白 噪声 序列 无 法 通过 对 白 ; 
噪声 过 程 抽样 得 到 (前 面 提 到 的 思想 在 实际 Tone eee een ACER EE, 
中 无 法 实现 ) 。 X, (DÉI Sx x, (o) 


RENERE E 
相 邻 重复 谱 和 整体 的 
功率 谱 密 度 
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Sxx(f) = rect(ff,) Rodt) = sine(r/T,) 


Ja : 


-f,/2 0 4/2 f r 
-T, 0 E 
a) b) 


图 8-18 抽样 随机 过 程 XO). a) 对 应 白 噪声 序列 X[kj] 的 X(t) 的 功率 谱 密 度 ; b) XO) h AAK K 


似乎 白 噪声 过 程 和 和 白 噪 声 序列 之 间 并 不 一 致 ， 但 这 是 因为 白 噪声 序列 定义 为 离散 时 
Al, MER T. =1/ f, 的 整数 倍 上 的 样本 不 相关 。 这 导致 自 相关 函数 为 克 罗 内 克 6 函数 。 
白 噪声 过 程 定义 在 连续 时 间 ， 要 求 对 于 任意 t 关 0( 包 括 无 穷 小 )， 时 刻 t 和 t 十 r 上 的 过 程 不 
相关 。 从 而 得 到 自 相关 函数 为 狄 拉 克 ó 函数。 

虽然 我 们 不 能 实现 一 个 白 噪声 过 程 ， 但 是 它 对 第 1 章 中 讨论 的 连续 时 间 系 统 的 理论 模 
型 非常 有 用 。 我 们 可 以 将 随机 序列 看 成 通过 对 图 8-18 所 示 的 具有 和 矩形 功率 谱 密 度 的 非 白 
随机 过 程 抽样 得 到 。 该 序列 只 在 T, 的 整数 倍 上 有 样本 ， 这 正 是 图 8-18 中 非 白 随机 过 程 
X(Ci 的 自 相 关 函 数 为 0 的 时 刻 。 因 此 ， 如 果 和 矩形 覆盖 了 整个 区 间 [一 /./2,f./2], 随机 序列 
的 样本 不 相关 。 如 果 过 程 X(1) 的 和 矩形 功率 谱 密 度 没 有 覆盖 到 整个 区 间 ， 通 过 抽样 得 到 的 
随机 序列 必然 相关 。 例 如 ， 如 果 和 矩形 仅 在 区 间 [一 f;/4,f,/4j], 那么 从 健 里 叶 变 换 性 质 得 出 
自 相 关 函 数 将 比 第 一 个 过 零点 2T, 宽 。 从 而 在 z= T, 时 ，Rxx (DAES. HIME X[kj] 通 过 
抽样 频率 f.—1/T. 得 到 ， 它 不 能 是 不 相关 序列 。 j 

前 面 从 理论 上 说 明了 白 噪 声 序 列 如 何 由 带 限 随机 过 程 抽样 得 到 。 在 实际 中 ， 很 容易 通 
过 伪 随 机 数 发 生 器 ， 如 MATLAB 中 的 rand 或 randn 函数 ， 得 到 有 限 方差 的 白 噪 声 序列 。 


8.11 带宽 


在 8. 10 节 中 ,我 们 介绍 了 经 过 滤波 器 后 ， 白 噪声 的 功率 谱 密度 仅 在 频率 范围 f € 
[一 B，BJ 上 非 0， 从 而 成 为 带 限 白 噪声 过 程 。 该 理想 频谱 可 由 和 矩形 函数 表示 : 
Sxx(f) = (N,/2)rect( f/2B) (8-206) 
其 自 相 关 是 式 (8-194) 的 sinc 函数 。 显 然 ， 并 非 所 有 的 功率 谱 密度 都 有 这 样 的 明确 定义 的 
带宽 。 例 如 ， 图 8-19 画 出 了 指数 自 相关 函数 Rxx (z) 一 exp( 一 xlz|) 的 功率 谱 密 度 。 


xx ( f ( (e+ f (8-207) 


其 中 w 盖 0。 对 于 这 种 类 型 的 功率 谱 密度 ， 我 们 可 以 定义 有 效 带 宽 。 该 方法 通常 用 于 滤波 器 
设计 ， 假 设 定 义 了 单 边 带宽 B( 正 频率 )， 那 么 传递 函数 需要 满足 

| H( Bsa) |? = (1/2) | HOO) |? (8-208) 
Sxx(f) 


G 
—Ñ 













Sxx(0) 
⁄ 


MSS 


ANN 






Z 


-Bade Bags f -Bye Bne f 
a) b) 


8-19 FER AMK RAD BRB; a) 3dB 带宽 ; b) 噪声 等 效 带 宽 
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如 果 | 互 ( 户 |: 用 dB 表示 ，、 则 截止 频率 士 刀 对 应 的 幅度 平方 是 f=0 最 大 处 的 3dB。 
对 于 功率 谱 密度 ， 可 以 给 出 类 似 定义 。 
定义 ( 半 功 率 带 宽 ) 功率 谱 密 度 的 半 功 率 带 宽 Bsss 是 正 频率 范围 ， 从 而 
Sa (f) Be Sx (Baw) = C1235 6-009 (8-209) 
它 也 称 为 3dB 带宽 。 
式 (8-207) 中 ， 截 止 频 率 为 
Bzap =ta (8-210) 
如 图 8-19a Aras, WG 3dB 带宽 为 24。 该 定义 也 可 以 用 于 受 载 频 fe 调制 的 功率 谱 密 
度 ， 例 如 图 8-15 中 的 幅度 调制 信号 。 对 于 这 种 情况 ，B;ws 表达 式 中 的 Sxx (0) 需 要 替换 成 
Sxx (fe) 6 
以 下 是 带宽 的 另 一 个 测度 。 
定义 (噪声 等 效 带 宽 ) 随机 过 程 X(Ci) 的 噪声 等 效 带 宽 Be 是 


i Sxx (Pdf 
Np 2S C129 Te at 


这 是 带 限 白 噪声 与 X(1) 具 有 相同 功率 的 带宽 。 
此 定义 如 图 8-19b 所 示 。 基 本 上 ， 在 保证 矩形 面积 与 Sxx (有) 相等 的 前 提 下 ， 找 到 高 度 
Sxx (0) 对 应 的 矩形 的 宽度 : 


(8-211) 





he S xx (0)df = 2ByeSxx (0) = 加 Sxx (Pdf (8-212) 
重新 整理 该 支 表 达 式 得 出 定义 式 。 对 于 指数 自 相 关 函 数 : 
aof Ew rar = (1/m)arctan( f/a) |>, = (l/r)(x/2+ 2/2) = 1 (8-213) 
其 结果 与 a 独立 ， 从 而 

Bwe = an/2 (8-214) 

如 果 自 相关 函数 是 已 知 的 ， 则 Bn 无 需 对 功率 谱 密 度 积分 : 
= (1/2) sS (8-215) 
观察 指数 自 相 关 函 数 发 现 ， 噪 声 等 效 带宽 大 于 3dB 带宽 : ur/2>x。 该 结论 一 般 成 立 ; 
Bye > Baap (8-216) 


下 面 我 们 给 出 证 明 。 因 为 Sxx (为 偶 函 数 ， 仅 考虑 /这 0。 另 外 ， 因 为 两 种 类 型 的 带 
宽 的 定义 都 与 Sxx (让 的 最 大 值 有 关 ， 不 失 一 般 性 ， 令 Sxx (0) 王 1。 然 后 ， 


Bye ae Sxx (fp df 


B, 
=| "Six fap + | “Sapara |” kd (8-217) 


XE, HAT Sxx Z0. WF Sax (/) 为 矩形 ， 则 Bza = Bye _ 
带宽 的 第 三 个 测度 与 概率 密度 函数 的 标准 差 ox AK, 下 列 归 一 化 的 功率 谱 密 度 具有 
概率 密度 函数 的 性 质 : 
Sxx ( f) _ Sxx(f) 
IS (a Fe 
它 非 负 且 具有 单位 面积 。 由 于 Sxx (了 ) 为 偶 函 数 ， 下 面 的 定义 给 出 了 归 一 化 功率 谱 密 度 的 
一 种 类 型 的 标准 差 。 
定义 ( 均 方 根 带宽 ) 随机 过 程 X(Ci) 的 均 方 根 (RootrMean-Square，RMS) 带 宽 为 


Bue dk, | [Se Cf) /Rxx (0)Jdf (8-219) 





(8-218) 
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对 于 前 面 的 指数 自 相 关 函 数 和 式 (8-213) 中 的 功率 谱 密 度 ， 
= | rSf = Ca/n)| ay (8-220) 
遗憾 的 是 ， 这 相当 于 柯 西 分 布 的 二 阶 矩 ， 我 们 知道 它 并 不 存在 。 均 方 根 带 宽 并 不 适用 
于 该 特定 功率 谱 密 度 。 习 题 8-24 考虑 了 另 一 个 例子 。 


8.12 谱 估 计 


随机 过 程 的 观测 值 可 以 用 于 估计 潜在 结构 ， 以 期 望 预测 未 来 的 结果 。 目 前 没有 获得 满 
意 长 期 模型 的 例子 有 股市 回报 和 天 气 预报 。 在 本 章 的 剩余 部 分 ， 我 们 将 讨论 随机 过 程 的 功 
率 谱 在 频率 范围 内 如 何 分 布 的 信号 模型 。 基 本 上 有 两 种 谱 估 计 方 法 : (i ) 参 数 法 及 (ii ) 非 
参数 法 。 参 数 法 假定 随机 过 程 可 以 利用 输入 为 自 噪 声 的 滤波 器 表示 。 非 参数 法 对 随机 过 程 
的 结构 不 做 任何 假设 。 估 计 自 相关 函数 ， 然 后 计算 其 全 里 叶 变 换 ， 从 而 导出 功率 谱 密 度 。 
这 种 估计 方法 称 为 周期 图 。 
8. 12.1 周期 图 

对 于 方差 有 限 的 广义 平稳 随机 序列 XU], AHARIA 

Rxx [m] = £[X[#]X[# + m]] (8-221) 
其 中 ,mE 2 是 滞后 的 时 移 量 。 考 虑 Rxx Lmj 的 估计 : 
N~|m|—1 


Ë Im] = x 于 (8-222) 


中 ，z[Lkj 是 随机 序列 的 一 个 现实 ， 求 和 中 使 用 |m | 是 因为 Rxx[Lmj 是 偶 函 数 。 这 是 单个 
现实 的 时 间 平 均 ， 为 了 使 估计 有 意义 ,我 们 假定 随机 序列 具有 相关 函数 各 态 历经 性 。 由 于 
lm| 三 N 一 1， 估 计 中 的 |m| 越 大 ， 样 本 越 少 ，N 需要 足够 大 才能 保证 xx [mm] “HEHE” BH 
关 函 数 的 重要 细节 。 该 性 质 也 使 得 mO 时 ， 估 计 是 有 偏 的 : 


ie 


¿[Ña [ml] = 2 Rolm] = No lle Cem] (8-223) 
尽管 N->co 时 ， 它 是 渐 近 无 偏 的 。 amaka a 
FEE -J Rex [m] (8-224) 


但 可 以 看 出 ， 它 的 方差 比 式 (8-222) 中 有 偏 估计 的 方差 大 得 多 。 

功率 谱 密 度 Sxx Go) Æ HHR KK Rxx Lo] 的 离散 时 间 傅 里 叶 变 换 。 周 期 图 同样 也 是 
WEEK., 但 原 函 数 是 自 相关 函数 的 有 偏 估 计 。 

定义 (周期 图 ) 随机 序列 XLA] 的 周期 图 是 自 相 关 函 数 有 偏 估计 的 离散 时 间 傅 里 叶 
KM, 


Pw) & >) Ry [mJexp(— jom) (8-225) 


m=—(N—1) 


JEP Ry [m] 由 式 (8-222) 给 出 。 妇 果 求 和 遍布 (—(L—1)y,L—1), HP L<N 但 
R a [m] £ RRT Š Pt kak N, M| P(jw) 称 为 相关 图 。 
将 P(jw) 写 成 现实 zLA] 的 离散 时 间 傅 里 叶 变 换 的 形式 : 
XGw) = S1+[#Jexp(—jaek) (8-226) 
k=0 


去 掉 比 例 因子 /1N， 观 察 发 现 式 (8-222) 是 ole] xz[ 一 对 的 卷 积 。 由 于 反 向 ( 实 ) 序 列 
的 离散 时 间 傅 里 叶 变 换 为 X( 一 jw)， 式 (8-225) 变 成 (见习 题 8-25) 


plies FIX Gw) |? (8-227) 
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我 们 提出 了 下 列 随机 序列 的 计算 机 仿真 : 
X[k] = cos (2af, k + @,) + 2cos(2x fik +p) + cos(2nfsk + @,) + VER] (8-228) 
其 中 {fis for fs} = (100,200,300) Hz, 相位 {@,} 是 独立 随机 变量 ,在 [一 x,xj 均匀 分 
[要 是 方 兰 忆 一 0 01 的 白 品 声 序列 。 图 8-20 画 出 了 随机 序列 的 一 个 现实 ， 以 及 利用 
akaw W Akas 周期 图 。 数 据 加 窗 是 将 现实 与 某 函 数 逐 点 相 乘 ， 通 常 它 们 的 持 
续 时 间 相 同 ; 加 窗 将 稍 后 讨论 。 从 周期 图 可 以 清楚 看 出 三 个 正弦 曲线 。 


! 
` 
° 


4 
3 
2 
1 
0 


xik] 
Pljw)(dB/Hz) 
ë 


Š 





O 100 200 300 400 500 600 700 800 0 50 100 150 200 250 300 350 400 
k AHz) 
a) b) 


图 8-20 Pl 8-11 的 仿真 结果 。a) 白 品 声 三 个 正弦 的 现实 ; b) ARAMA < 
接 下 来 ,我 们 推导 周期 图 的 均值 和 方差 ， 以 便 评价 估计 的 质量 。 求 式 (8-225) 的 期 望 


N=] 
ELPGw) ] = >} ELRxx [m ] Jexp(— jom) 
m=—(N—-1) 


N—1 


ë= Nm lp [m ]exp(— jwm ) (8-229) 


它 是 实际 的 自 相关 函数 乘 以 三 角形 函数 ( 窗 )1 一 |m|/N 后 的 离散 时 间 傅 里 叶 变 换 。 由 于 
加 权 和 离散 时 间 傅 里 叶 变 换 的 极限 有 限 ， 所 以 变换 只 利用 了 现实 的 一 小 部 分 数据 ， 周 期 图 有 
偏 。 在 例 8-11 中 这 种 影响 很 明显 ， 原 理 上 由 于 噪声 理想 频谱 具有 平坦 部 分 ， 但 图 8-20b 所 示 
的 仿真 结果 并 不 是 这 样 。 三 角 加 权 称 为 Bartlett 窗口 ， 式 (8-229) 的 乘积 是 频 域 卷 积 : 


ELPCw)] 一 去 | Sex Ga) Wa GC — a))da (8-230) 
其 中 Sxx jw) 是 随机 序列 功率 江 普 密度 


sin? (wN /2) 
Wa (jo) = D s Dmlexp(— jem) = (1/N) RY (8-231) 
是 Bartlett 窗口 的 离散 时 间 傅 里 叶 变 换 : 
iN, ZN- 
wa[m] = be | m| / Im|< : (8-232) 


其 他 
图 8-21 画 出 了 Bartlett 窗口 和 其 离散 时 间 傅 里 叶 变 换 ， 其 中 N=15( 式 (8-231) 中 的 比 
例 因 子 1/N 导致 主办 的 最 大 值 为 0dB) 。 
为 了 计算 周期 图 的 方差 ， 首 先 计算 其 自 相 关 函 数 ， 它 是 期 望 在 下 列 两 个 不 同 频率 的 评价 : 


N=] , N—1 ,N=1 ,N=1 


ECP ins )PGan I = 22 22 2222 ELXLk JX[b IAT IXe T] 


. seat uence k) — jws ks — k4) ) (8-233) 
由 于 该 式 难以 评价 一 般 的 随机 序列 ， 我 们 假定 XLAJ] 是 高 斯 白 品 声 ， 方 差 ox 为 有 限 
值 。 从 而 当 自 变量 对 相等 时 : ( | )ki =k, H k; = kis (j )b =k; H k, =k, ( Í| )kı =k, R. 
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t 


二 ks; 可 以 用 ox 代替 四 阶 矩 ( 见 第 5 章 的 推导 ); 否则 ， 期 望 是 零 。 对 于 (i )， 指 数 降低 
到 1， 四 个 求 和 变 成 
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N 一 1 N—1 
Dok = sk N (8-234) 
ky =0k,=0 
10 
1 0 
-10 
0.8 -20 
-30 
0.6 @ -40 
š 0.4 z -60 
= -70 
0.2 -80 
-90 
0 -100 
-15 -10 -5 0 5 10 -3 -2 -1 0 1 2 3 
O 
a) b) 
图 8-21 Bartlett 窗 的 时 间 域 频谱 ( 乘 以 比例 因子 1/N) ， 其 中 N=15. a) Bartlett 窗 ; 
b) Bartlett 窗 的 离散 时 间 傅 里 叶 变换 
对 于 Cii ) 
N—1 N-1 
oxexp(— jw (ki = — jwz (hi < k2)) 
k =0k,=0 
N—1 N-1 
= ok exp(— ja: +a) (ki — ks)) (8-235) 
ky =0k, =0 
ADL» AEF CID 
N-1 N—-1 N-1 N- 
> Sokexp(— jar (hi — ke) — jer (Re — hi) = ok X) SS exp(— jlo — ez) (bi — ka)) 
ky =0k, 一 0 k =0k, =0 
(8-236) 
结合 这 三 个 结果 ， 得 到 ， 
4 N—1 N-1 
ELP Gan )P Gee) ] = S| N° + 2; 27 exp jan + es) Ck — ks)) 
k, =0k, =0 
RN 一 IN 一 
+ 2; 2yexp( 一 jos — e) (ki — ka)) | (8-237) 
ki =0k, =0 
第 一 项 二 重 求 和 ， 可 以 看 成 两 个 求 和 的 乘积 : 
N-1 N-1 N-1 N-1 
> D expl jar +02) (Ri —k:)) = J exp(— j(wr +a dh) >yexp(j(o + whe) 
k =0k, =0 k =0 k,=0 
(8-238) 
每 一 个 求 和 都 是 在 10,…,N 一 1) 内 的 非 0 的 矩形 序列 离散 时 间 传 里 时 变换 。 从 附录 C 
离散 时 间 傅 里 叶 变换 的 性 质 ， 


N- ; 
sin( (a, ++ a» ) N/2) (8-239) 


27 exp jay Fan dk) = exp jln Tay) (N = D/D me D 


k 一 0 


由 于 式 (8-238) 的 两 个 求 和 构成 复 共 轿 对 ， 消 去 了 式 (8-239) 的 相位 成 分 。 类 似 可 以 得 


到 式 (8-237) 另 一 个 二 重 求 和 的 结果 ， 使 得 自 相关 函数 为 
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sin’ ( (wi + ao) N/2) sin’ (Can = we YNY2) 
N’ sin? (Caw +.2)/2)  N’sin? (Cw —a@2)/2) 





ECP Ge P Oa] = oi | 1+ 
自 协 方差 函数 为 : 
coy[ P(jan) ,Pljw)] = EL P Gan) Po] — ECP Ga) ] EPG]  8-241) 
Ff (8-229) AY Rxx [m ]=oxó[ m (因为 该 序列 是 白色 的 ) ， 得 到 
N—1 
N 


](8-240) 





Nola, xOLm Jexp(— Jom) = ok (8-242) 
m=—(N-1) 
因此 
paS sin’ (Cen + ws ) N/2) sin’ (Cæ eN | 
covLP (jw ) ,Pj )] E r toa | Neddbl D | OPE? 
当 w Two Tw 时 ， 得 到 方差 : 
var[ P(jw) | = ok Ea sie Cn) + 1] (8-244) 


根据 洛 比 达 (Fopital) 法 则 ， 得 出 ok <varl P(jw) |<2ok. 

图 8-22a 给 出 了 N= 二 5、ox = 1 时 周期 图 的 自 协 方差 函数 。 观 察 发 现 函数 在 原点 和 
Ji 一 土 w 王 十 区 的 4 个 角 点 达到 最 大 值 1。 当 由 三 十 时 ， 协 方差 相对 较 小 ， 当 o, = 
2nm/N B.o;=2xn/N BF, EF m, n€ ZE. m 关 n ht, AREF., B 8-22b 所 示 的 方差 相 
当 于 在 o 王 四 一 w 时 对 函数 进行 “切片 ”。 当 由 天 士 o 时 ， 随 着 N 的 增加 ， 协 方差 减 小 ， 
在 原点 和 三 十 三 士 x 的 4 个 角 点 处 ， 值 仍然 是 2， 当 办 王 士 om NH, WF 1。 这 表现 
在 图 8-22c 所 示 N =33 时 的 方差 中 。 随 着 N 的 增加 ， 方差 并 不 会 减 小 到 0( 通 常 我 们 选择 
方差 持续 减 小 的 佑 计量， 第 9 章 将 讨论 ) 。 
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Al 8-22 FH ox =1 的 高 斯 白 品 声 序 列 的 自 协 方差 函数 和 周期 图 。a) 周期 图 的 自 协 方差 函数 covL Plar), 
P(Gje.)],N=5; b) 周期 图 的 方差 varLP(jo)]，N=5; c) 周期 图 的 方差 var[ P(iw)]，N=33 
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在 下 面 的 章节 中 ， 我 们 利用 两 个 标准 周期 图 的 变量 估计 随机 序列 的 功率 谱 密 度 : (i) 
平滑 周期 图 ; ( j ) 现 实 加 窗 。 


8.12.2 平滑 周期 图 
周期 图 的 一 个 变化 是 对 Rsx[zo] 加 窗 ， 也 就 是 让 它 乘 以 一 个 函数 ; 


N—1 


PsGw) = .> wim] Rx [m J]exp(— jom) (8-245) 


m= —(N—1) 


其 中 下 标 S 表示 平滑 2 加 权 -w[m] 有 下 列 作 用 : COKER x [mj 截断 到 mm € {一 (M 一 1),…， 
M 一 1), 通常 M 和 N， 因 此 仅 包含 了 短 时 间 滞 后 的 更 为 准确 的 自 相 关 估计 。( i ) 改 变 自 相 
关 估计 ， 从 而 平滑 了 功率 谱 密度 估计 。 需 要 注意 的 是 wLm] 应 该 是 偶 函 数 (Rxx [mj 也 为 偶 
函数 )， 使 得 Ps(jw) 保 留 了 功率 谱 密 度 相同 的 性 质 。 由 于 式 (8-245) 右 边 乘积 的 离散 时 间 传 
里 叶 变 换 蔡 换 为 频 域 中 的 卷 积 ， 平 滑 性 质 显 而 易 见 。 


Ps(jw) = z- || wdiwPGco 一 o)da (8-246) 
其 中 
M-1 
W(jo)= >) wimjexp(— jem) (8-247) 
m=—(M-1) 


是 窗口 的 离散 时 间 傅 里 叶 变 换 ，P(jw) 是 标准 的 周期 图 。 由 于 M 冬 N， 对 应 于 罕 窗 口 ， 其 
傅 里 叶 变 换 WW(jw) 相 对 较 宽 ， 因 此 它 与 周期 图 的 卷 积 使 得 Ps Go) HE P(jw) 更 平滑 。 

对 于 标准 周期 图 PGjw)， 我 们 发 现 eLP(jw) ] 为 Rxx Lm] 的 加 权 形 式 的 离散 时 间 什 里 叶 
变换 ， 其 中 权 值 是 总 长 度 为 2N 一 1 的 Bartlett 窗口 。 由 于 Rsx[zo] 是 Rex [mj 的 有 偏 估 计 ， 
我 们 用 三 角 加 权 来 得 到 比 无 偏 估计 更 小 的 方差 。 此 处 描述 的 用 于 平滑 周期 图 加 窗 的 不 同 之 处 
在 于 它 是 有 意 用 于 自 相关 函数 的 估计 RRxx [mj]j。 此 外 ， 由 于 M<N, ha] b J BJ Rx [m ] 
将 被 删除 ; 如 前 面 提 到 的 ， 受 较 小 的 求 和 上 限 N—|m|—1 的 限制 ,那些 自 相 关 估 计 不 太 
准确 。 

Ps (je) BJ EJ (Ë 28 : 


£[ PsGeoe) | = > wm Jrws Lm |Rxx [m Jexp(— jem) (8-248) 


m=—(N-1) 


这 里 包含 了 出 现在 式 (8-229) 中 的 Bartlett HO wim]. At. 实际 的 自 相关 函数 Rxx [m] 
由 复合 窗 zo[m Jzos[ m 加权。 然而 ， 由 于 M<N,  (—(M—1),-,.M—1} E, Bartlett 
窗 相对 平坦 ， 使 得 wh) ES RA wm jwsLmj]wLm]。weLmj 在 {一 (M 一 1),…,M 一 1) 
上 的 锥 度 对 均值 影响 不 大 。 在 频 域 ， 我 们 有 以 下 近似 


ELP: Gw] | WGadSax G(w—a) da (8-249) 
其 中 ，W(ja) 是 明确 的 用 于 自 相关 估计 加 窗 的 离散 时 间 傅 里 叶 变 换 。 
平滑 周期 图 的 自 相关 函数 为 : 
covL Ps Gon), Ps Gan) == [` | Woa Wios) 
:cov[P(j(w —ai)) Pas —a2)) Mdardar (8-250) 
类 似 标准 周期 图 分 析 时 的 做 法 ,我 们 假定 XLAJ 是 方差 为 ox 的 高 斯 白 品 声 ， 从 而 积分 中 


的 协 方差 可 从 式 (8-243) 得 到 。 为 了 简化 表示 式 ， 假设 N 比较 大 ， 使 得 式 (8-231) 中 Bartlett 
窗 的 离散 时 间 傅 里 叶 变 换 可 由 6 函数 近似 (Oppenheim 和 Schafer, 1975; Tretter, 1976): 


sin’ (wN/2) _ < F 2 
Manin = 之 2ri(o 2xn) (8-251) 


利用 洛 比 达 法 则 很 容易 得 出 We Go) fE 2x 的 整数 倍 上 有 峰值 N。 随 着 N 的 增加 ， 峰 


Wa (jw) = 
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值 趋 于 无 穷 大 ， 并 且 每 个 “脉冲 ”Wa (jw) 的 宽度 趋 近 于 零 。 由 于 well ARAM. 功率 谱 

密度 的 面积 性 质 可 以 写成 : 

= SN D iw = w [0] = 1 (8-252) 
从 图 8-23 的 例子 中 ， 我 们 看 到 随 着 N 的 增加 ，Bartlett @j BJ Eš BW BJ [8] 8 E n 28 1⁄2 fE 

wE[ 一 x*，x] 上 趋 于 面积 为 2r 的 6 函数， 并 且 在 2x 的 整数 倍 频率 上 重复 出 现 。 正 是 这 种 

aE Bartlett 离散 时 间 傅 里 叶 变换 脉冲 ， 导 致 了 图 8-22c 在 原点 出 现 脉冲 状 的 方差 。 


[W (je))| 





图 8-23 Bartlett 窗 的 频谱 ( 乘 以 1/N， 线 性 比例 因子 ) 


将 式 (8-251) 的 近似 代入 式 (8-243)， 在 频率 范围 w€E[ 一 x*，xj] 内 ， 得 出 两 个 6 函数: 
二 wi)N/2) , sin (Cw —w2)N/2) ]= 2 











ox | N: simi Gal tos OL) aia Con — wd 725 [don Har) + Olen — we) ] 
(8-253) 
使 用 适当 的 参数 将 上 式 代 入 式 (8-250) ， 将 二 重 积 分 变 成 一 重 积 分 ; 
Gael Ps Gas )o Pa Clan) aoe oe 
+ W Glen — C2 +a: )) |W (jo; ) da; (8-254) 
当 w 二 =w 时 ， 得 到 方差 : 
vat Ps Gay] =ç ol [WG — a2) W Gar) + W? Gar) Ides (8-255) 


假设 M BR HB $R< N), Mili Wo) BE. 与 第 二 项 相 比 ， 第 一 项 积分 比较 小 ， 
可 以 忽略 不 计 。 得 到 近似 


4 x 
var[ Ps (jo) ] == aI" W? Gaz) daz (8-256) 


为 了 与 式 (8-244) 中 P(ijw) 的 方差 进行 比较 ,我们 需要 得 到 积分 上 限 。 利 用 帕 斯 瓦 尔 
定理 : 





M—1 


if W? (jar das = >) w[m]<2M—1 (8-257) 

Td =x —(M-1) 

其 中 窗口 已 经 归 一 化 ， 使 得 对 于 任意 mx， 都 有 0 三 wLmj 二 1， 以 得 到 积分 上 限 。 
var[ Ps (jo) | ~ (1/N)(2M — 1)ox (8-258) 


为 了 与 式 (8-244) 中 P(je)J)r2e BJ FA ok 比较 ， 我 们 发 现 当 窗口 宽度 M 远 小 于 自 相 关 
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估计 的 样本 NN BF, var[ Ps Go) ] 减 小 。 而 且 ， 通过 截断 估计 的 自 相 关 函 数 ， AFP RK A 
方差 较 大 的 项 被 排除 在 外 。 然 而 ， 当 M 较 小 时 ， 窗 口 的 离散 时 间 伟 里 叶 变 换 比 较 宽 ， 这 意味 
着 该 周期 图 不 能 为 各 功率 谱 密 度 分 量 提供 好 的 分 辨 率 ， 特 别 是 当 它 们 的 频率 很 近 时 。 

REATARD, HH M<N: 

wel m] = 7 ne (8-259) 
其 离散 时 间 傅 里 叶 变 换 为 
sin( (2M — 1)w/2) 
sin(w/2) 

图 8-24 画 出 了 和 矩形 窗 的 一 个 例子 ， 可 以 看 到 它 的 主办 比 Bartlett FF, PCHMRA. 
众所周知 ， 这 是 离散 时 间 信 号 处 理 在 主办 宽度 ( 通 带 内 ) 和 旁 办 高 度 ( 阻 带 内 ) 之 间 的 权衡 。 
然而 ， 由 于 Wk(jw) 存 在 负 值 而 功率 谱 密 度 估 计 必 须 非 负 ， 所 以 矩形 窗 不 能 用 于 平滑 周期 
图 。 而 Bartlett 窗 可 用 ,因为 从 (8-231) 明 显 看 出 ， 它 的 离散 时 间 传 里 叶 变 换 非 负 。 图 8-25 
画 出 了 例 8-11 中 具有 三 个 正弦 上 且 M= N/2 的 信号 的 平滑 周期 图 。 观 察 发 现 ， 即 使 频谱 噪声 
看 起 来 比 图 8-20 的 小 (方差 降低 )， 但 其 分 辩 率 较 差 。 将 标准 周期 图 与 Bartlett 窗 的 频谱 卷 积 
导致 峰 加 宽 ,， -这样 间 隔 较 小 的 正弦 信和 号 可 能 更 难以 分 开 。 这 个 例子 说 明 ， 即 使 估计 的 方差 可 
以 减少 ， 当 考虑 估计 的 其 他 指标 时 ， 恕 分辨 和 分 离 信号 ， 整 体质 量 可 能 不 会 提高 。 


Wa (joy = (8-260) 
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° 
> 
IW,(je)) (dB) 
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图 8-24 M=16 的 矩形 窗口 。a) 时 域 ; b) 频 谱 ( 乘 以 因子 1/ (2M 一 1)) 


P.(joy)(dB/Hz) 
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图 8-25 例 8-12 的 平滑 周期 图 < 
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8.12.3 改进 的 周期 图 
另 一 种 形式 的 标准 周期 图 是 对 它 的 实现 本 身 加 窗 ( 而 不 是 自 相 关 估计 )， 得 到 改进 的 周期 图 。 
定义 (改进 的 周期 图 ) 随机 序列 X[kj] 的 改进 周期 图 为 : 


N-1 

Pu (jw) 全 并 | Swe] 2LeJexp(— jok) |? (8-261) 
>) w [k] aj 
k=0 


其 中 w[k] 是 现实 z[k&] 的 窗口 。 
如 果 窗 口 是 图 8-24 所 示 的 矩形， 当 窗 口 长 度 为 2N 一 1 时 ， 改进 的 周期 图 变 成 标准 周 

期 图 。 观 察 发 现 ， 和 矩形 窗 频率 响应 的 主 鸭 宽 度 较 罕 ， 但 与 图 8-26 所 示 的 汉 明 窗 相 比 ， 旁 

为 较 高 。 汉 明 窗 是 以 下 升 余弦 函数 : 

0. 54 十 0. 46cos(2rR/(2N 一 1))， |#|< N—1 





walk] = (8-262) 
à 0, 其 他 
10 
0 
1 -10 
-20 
0.8 sas 
T -40 
ne} 
= 0.6 = 50 
š El 
0.4 STS 
= 12720 
0.2 -80 
-90 
-100 
6: | 1-0 t5 0 5 10 15 dg ii 5.5 ths 0 1 2 3 
m 
a) b) 


图 8-26 N=16 的 汉 明 窗 。a) 时 域 ; b) 频 谱 ( 乘 以 因子 1/0. 54(2N 一 1)) 


虽然 汉 明 窗 的 离散 时 间 傅 里 叶 变换 较 复 杂 ， 但 它 可 以 用 Wr (jw) 表 示 。 上 式 第 一 项 
0.54 对 应 一 个 矩形 函数 ， 利 用 欧 拉 公式 将 余弦 项 改写 为 ， 
0. 46cos(2xm/(2N — 1)) = 0. 23exp(j2xzm/(2N — 1)) +0. 23exp(— j2xm/ (2N —1)) 
(8-263) 
因此 ， 频 谱 是 三 项 之 和 : 
Wulu) =0. 54Wr Go) +0. 23Wr (G lw — 2x/(2N —1))) 
+0. 23We(jlw-+ 2n/(2N — 1535 (8-264) 
序列 加 窗 导 致 在 频 域 中 ， 信 号 的 离散 时 间 傅 里 叶 变换 与 窗口 的 频率 响应 相 卷 积 。 这 就 
解释 了 为 什么 只 能 使 用 有 限 样 本 计算 周期 图 ， 它 相当 于 将 一 个 无 限 长 度 的 序列 乘 以 有 限 长 
度 的 矩形 窗 ， 得 到 “ 哺 杂 ”的 功率 谱 密度 估计 。 设 X(Go) 是 -z[R] 的 离散 时 间 傅 里 叶 变 换 ， 假 
定 它 的 长 度 无 限 。 加 窗 序列 的 离散 时 间 傅 里 叶 变 换 可 以 写 为 以 下 卷 积 : 


Xw Cw) =| XGadW Cw — a) da (8-265) 
Pu Cin? =} Xx Ge) |? (8-266) 


GESD 对 于 例 8-11 中 的 信号 ,可 以 通过 图 8-27 F i É HB G M W SHH. A 
Bartlett 窗 对 应 的 结果 如 图 8-27 所 示 ， 也 能 够 得 到 类 似 的 性 能 。 

需要 注意 的 是 ， 改 进 的 周期 图 和 平滑 周期 图 的 不 同 之 处 在 于 ， 前 者 是 对 随机 序列 加 
窗 。 频 域 中 的 相应 卷 积 降低 了 序列 中 加 性 噪声 的 影响 ， 从 而 得 到 更 准确 的 自 相关 估计 。 
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图 8-27 fj 8-13 中 的 改进 的 周期 图 使 用 。a) DLA BY; b) Bartlett 窗口 


平滑 周期 图 不 对 现实 而 是 对 自 相 关 估 计 加 窗 。 工 程 中 的 做 法 通常 是 在 计算 自 相 关 估计 
前 ， 对 原始 样本 进行 处 理 ( 加 窗 或 滤波 )， 而 不 是 对 自 相 关 函 数 进行 处 理 ( 平 滑 )。 

最 后 ;我 们 简单 介绍 两 种 称 为 Bartlett 和 Welch 方法 的 平均 法 ， 这 两 种 方法 对 标准 周期 
图 而 不 是 随机 序列 的 现实 进行 处 理 。Bartlett 方法 将 现实 z[k 的 N 个 样本 分 成 及 个 互 不 相 重 
的 部 分 ， 然 后 用 矩形 窗 计 算 每 个 部 分 的 周期 图 ， 最 后 对 开 个 周期 图 进行 平均 得 到 整体 的 功率 
谱 密 度 估 计 。Welch 方法 是 Bartlett 方法 的 扩展 : (i) 像 改 进 的 周期 图 那样 对 现实 x[k] 加 窗 ; 
(ji) 允许 Bartlett 部 分 重叠 。 这 些 方法 得 到 的 估计 比 改进 的 周期 图 方法 噪声 小 ， 但 分 辩 率 有 时 
较 低 。 < 


8.13 参数 模型 


图 8-28 给 出 了 利用 谱 估计 参数 法 实现 系统 辨识 的 框图 。 该 模型 假定 随机 序列 X[ £ ] E: 
传递 函数 瑟 (z) 的 未 知 滤波 器 的 输出 ， 其 输入 是 和 白 噪 声 序列 W[ k J... 接 下 来 的 几 小 节 将 介 
绍 系统 的 基本 类 型 : 自 回 归 (AR)、 滑 动 平 均 (MA) 和 自 回归 滑动 平均 (ARMA) 模 型 。 对 
于 特定 现实 zLk&]， 其 目的 是 要 估计 五 (=) 的 参数 ， 使 得 白 噪 声 通过 所 估计 的 系统 后 ， 输 出 
接近 于 z[k]。 这 种 方法 需要 解决 下 列 问题 ;( i ) 模 型 的 类 型 ; (ii ) 模 型 的 阶 数 ( 参 数 的 个 
BO; (出 ) 计 算 参 数值 的 方法 。 由 于 参数 估计 仅 从 输出 XLA] 得 到 ， 该 建 模 方法 有 时 也 称 为 
“ 盲 ”， 因 为 输入 W[&j 无 法 观测 。 更 一 般 的 系统 辨识 问题 假定 输入 与 输出 可 测 ， 这 种 情况 
下 估计 滤波 器 参数 的 方法 在 本 章 结尾 将 简要 提 及 。 





不 可 观测 WIA 
的 白 序列 


生成 白 序列 


图 8-28 利用 参数 频谱 分 析 实 现 系统 辨识 的 框架 


鉴于 前 面 的 模型 框架 ，XLAj 的 相关 函数 将 作为 一 个 重要 特征 来 估计 模型 参数 。 由 于 输入 
信号 是 方差 为 ow 的 白 品 声 ， 我 们 知道 输出 的 自 相 关 函 数 是 下 列 功率 谱 密度 的 x ER: 

Sw(z)= owH(2)H(z") (8-267) 

AM AKRON Rww[Lmj] 二 owW6Lm]， 显 然 模型 参数 决定 相关 程度 ， 因 此 模型 

选择 是 一 个 重要 的 考虑 因素 。 在 包含 自然 信号 的 应 用 中 ， 序 列 实际 上 比 传递 函数 H (x) # 

示 的 更 复杂 。 这 些 模型 仅 是 随机 序列 如 何 产生 的 近似 。 考 虑 AR、MA 和 ARMA 模型 是 因 
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为 它们 是 常用 的 线性 时 不 变 滤 波 器 。 因 为 公式 是 线性 的 ， 很 容易 得 到 AR 模型 的 估计 ， 但 
是 对 于 MA 和 ARMA 模型 是 非 线 性 的 。 


8.13.1 AR 模型 
随机 序列 XLA JAY AR 模型 由 以 下 递归 差分 方程 描述 : 


X[k] = SET — n] +W[k] (8-268) 


其 中 N 是 模型 的 阶 数 。 参 数 a, 可 在 X[ 癌 的 左 侧 作为 权 值 出 现 ， 但 常 将 其 取 1。 该 模型 是 答 
人 序列 W[&] 的 无 限 脉冲 响应 (IIR) 滤 波 器 ， 如 图 8-29a 所 示 。 写 成 向 量 的 紧凑 形式 如 下 ， 
X[k] = a' X[k 一 1] + WL] (8-269) 





图 8-29 随机 序列 模型 。a) AR; b) MA; c) ARMA 


#Erih,a20[a a J',X[Ik—1]2/[X[k—1],--X[k — N]]' ， 系 统 传递 函数 是 
H(z) = l 

Yee SS 

i— a2" 

对 于 AR 模型 ， 昌 (z) 只 有 极点 ， 包含 极点 和 零点 的 更 一 般 的 情况 是 后 面 讨论 的 ARMA 模 


型 。 对 于 因果 稳定 系统 ， 甩 (zx) 的 极点 都 在 单位 圆 内 。 由 于 W[Lkj] 是 白 序 列 ，XL&j] 的 功率 
谱 密 度 满足 


1 
por Soe L 
ea ET Ves; (8-270) 


2 


-1 j) — Ow 
Sxx (z) = H(z) H(z") = EAA 
考虑 下 列 N=1 的 一 阶 AR 模型 : 

X[k] = aX[k—1]+W[k] (8-272) 
这 是 极点 在 z=a 的 单 极点 滤波 器 ， 系 统 稳定 要 求 |xa| 雪 1。 依次 代入 X[k 一 1]、X[k 一 2]， 等 
等 ， 上 面 的 递归 表达 式 可 以 写成 下 列 非 递归 形式 : 

X[k] =a(aX[k —2] +W[k —1]) + W[] 
=a (aX[k—3]+W[k—2])+aW[k—1]+W[] 


(8-271) 


= yoW[ —n|] (8-273) 
由 于 WRIA SY. IFEN kH]. BARB 
£[X[£]X[£ + m]] = >) X a £g[W[k# — p]WLk + m — n]] 


n=0 p=0 


= >) 37a"ttoyó[m — n+ p] (8-274) 


n=0 p=0 
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做 变量 替换 /二 m 十 p， 并 假定 m 为 正 ， 得 到 








Rxx [m] = D arol- n] = ats Den = der (8-275) 
因为 自 相 关 函 数 是 偶 函 数 ， 对 于 mE 2: 
Rx [m] = al *| or | (8-276) 
1— á 
从 而 得 到 方差 
ox = Rxx[0] = tt (8-277) 


图 8-30 aT 4a 分 别 为 正 值 和 负 值 时 ， 对 应 的 AR(1) 的 自 相 关 函 数 (o% = 1), 4 
AR 模型 的 极点 靠近 单位 圆 (|a | 一 1) 时 ， 相 关 性 增加 ， 并 且 当 极点 为 负 时 ， DORAE 
(24 m 为 偶数 ) 负 值 ( 当 xm 为 奇数 ) 交 蔡 出 现 。 
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图 8-30 一 个 AR(1) 序 列 的 自 相关 函数 。a) a=0.9; b) a= —0. 9 
自 相 关 函 数 也 可 以 通过 功率 谱 密 度 得 到 : 
ow ow 1 1 
si ee be 7 
s igk ae Lael, la RHA Tica ) 52782 


已 经 进行 了 部 分 分 式 展 开 (Partical Fraction Expansion, PFE), #— mi Xt M — 4 AW A 
数 ， Pare Ns eee BERS 

Rxx[m] = — (a “ulm +a” ul[—m+1]) = a” ot (8-279) 
与 式 (8-276) 结 果 相 同 。 i 8-30 的 A 8-31 所 示 。 观 察 发 
现 输出 信号 比 输入 信号 具有 更 多 的 “结构 ”， 并且 a=0.9 对 应 的 输出 看 起 来 比 4= 二 一 0.9 更 
好 预测 。 


对 于 式 (8-268) 中 的 一 般 AR 序列 ， 不 能 得 到 自 相 关 函 数 的 一 个 简单 表达 式 。 相 反 ， 
我 们 可 以 用 一 一 个 道 归 者 过 式 近 似 摘 述 随机 序列 本 身 ， 考虑 


ELXLk — m]X[k]] = Ya ELXLk — m] X[k — n]] + £[ X[# — m]W[k]] (8-280) 


其 中 m>0, LAWN — 项 是 零 ， 因为 X[kj] 的 以 前 的 样本 与 白 序列 WLkj 独 立 。 从 而 
得 到 下 列 递 归 表 达 式 : 








Rxx [Lm] = S RI [m— n] (8-281) 
对 于 不 同 痉 值 ， 可 以 写成 矩阵 形式 : 
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图 8-31 AR(1) 序 列 的 现实 的 例子 。a) 白 高 斯 输入 ; b) a 二 0.9 时 的 滤波 器 输出 ; c) a=—0. 9 时 的 滤波 器 输出 





[RxxL1] Rxx [0] Rxx |= 1] on Rxx LN 一 1: ] x 
ae = Riz[1] Relo] + R iDN — 27 2 (8-282) 
è ° ` 2 z£ 
对 于 m=0: 
g£[X°[k]] = Da, £[LX[£—nJxX[£]] + ELWCRIX[R]] (8-283) 
可 得 : 
Rxx[0] = $ a,R xx [n] + oy (8-284) 


由 于 自 相关 函数 是 偶 函 数 ， 式 (8-282) 中 的 参数 可 以 改变 ,使 得 所 有 参数 为 正 ， 表 明 
式 (8-282) 中 的 矩阵 是 Toepliez 和 矩阵 。 用 于 求解 滤波 器 系数 {a} 的 方程 称 为 Yule-Walker 方 
程 ， 可 以 将 它们 代入 式 (8-284) 来 估计 方差 路。 当然 ,由 于 Rxx [mj] 未知， 可 以 从 XLAJ] 的 
现实 得 到 一 个 估计 。 

假设 估计 的 自 相 关 函 数 恰好 有 理想 的 形式 率 xx [m ]= (0.9)!”! ,考虑 Yule 
Walker 方程 的 N= 二 3， 从 而 








mo 7 mk 0.9 0.817 la, 
0. 81 if e 9 1 0.9 |da (8-285) 
LO. 729 








0.81 0.9 y. J 
求解 得 到 系数 [a azsa; |" = [0.9,0,0]1, MR (8-284) | Bl BB HAE ow =1—0. 81= 
0. 19。 得 到 一 阶 系统 并 不 奇怪 ， 因 为 这 个 特定 的 自 相 关 函 数 具 有 式 (8-276) 的 形式 ， 并 且 
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根据 式 (8-277)o% 5 Ra [0]# 2, 假设 由 于 不 精确 的 自 相 关 测 量 ，Yule<Walker 方程 为 


0. 9 Í 0.9 0 sfe 
0.7 9.8 0.89 Tia, 

求解 这 些 方程 得 到 [ai ,asyas]' = [0. 9444,0, —0. 0556 ]7, MH (8-277) HB RB J 2 
ow =1—(0. 9444) X (0. 9) + (0. 0556) X (0. 7)0.1905, Hit 2 + #| E i 2 bq RHEE 
个 重要 的 问题 ， 特 别 是 AR 模型 的 参数 较 多 时 。 < 
8.13.2 MA 模型 


随机 序列 的 MA 模型 没有 递归 的 形式 ; 相反 ， 它 是 白 输 入 序列 的 有 限 加 权 和 ， 如 下 所 示 : 





X[k] = Ye Wa —n] (8-287) 
其 中 M 是 阶 数 。 这 是 一 个 FIR BEER, ORRON: 
H(z) = >, z" &B(z) (8-288) 
系统 框图 如 图 8-29b 所 示 ， 其 功率 谱 密度 是 ， 
Sux (2) = sakB(z)B(z"1) (8-289) 


因为 序列 模型 不 是 递归 的 ， 自 相关 函数 很 容易 计算 ， 一 般 来 说 : 


M—1 M-1 


£[X[£]X[# + m]] = 2 和 2 b, €LW[k — n]W[# +m — p]] 


NM 一 1 M-1 NM 一 mm 一 1 


=a 2; Dy brbdLm +n — p] = ow 2 bab mtn (8-290) 


其 中 办 之 0。 由 自 相关 函数 的 对 称 性 ， 对 于 任意 总 


M- | m|—1 


Rxx Lm] = ow > Bab | m | +n (8-291) 


求 和 实际 上 是 滤波 器 参数 {0 ,} 的 确定 性 自 相关 函数 。 不 同 的 m 值 使 得 6|, |+, 相 对 于 
b, 进行 左 移 或 右 移 。 因为 只 有 M 个 参数 ， Rxx Lm] 也 具有 有 限 持续 时 间 : 4 | m | >M—1 
时 为 0， 如 图 8-32 所 示 ， 其 中 我 们 定义 了 向 量 b 会 [5,,…,bm1] o 图 8-33 Mih TA 8-32 
AY AAAS PR Coy = LD) AAA MA 序列 的 现实 的 例子 。 输 出 序列 具有 显著 的 相关 性 ， 但 相 
关 性 比 前 面 AR 模型 的 例子 要 低 ， 这 是 由 于 AR 过 程 有 反馈 : 当时 间 滞 后 无 穷 大 时 ， 自 相 
关 函 数 非 0。 
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= 2.5 š. 0 
x 
[ 2 x 4 
>. ô 
-3 
0.5 
0 一 4 
-10 -5 0 5 10 -10 -5 0 5 10 
m m 
a) b) 


图 8-32 MA(4) 序 列 的 相关 函数 的 例子 。a) MACAI BAKE HH, b= [1.1,1,1,1]" ; b) 
MA(4) 的 自 相 关 函 数 ,b= [1,; 一 1,1, 一 1,1]" 
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图 8-33 不 同 参数 对 应 的 MA(4) 序 列 的 现实 的 例子 。a) 白 高 斯 输入 ; b)b=[1,1,1, 
1,1] 对 应 的 输出 ; cb = [1 ,一 1,1, 一 1,1]J7 对 应 的 输出 


利用 系数 向 量 bp， 随 机 序列 可 以 表示 为 以 下 内 积 ， 
X[k] = bw] (8-292) 
其 中 W[k] 会 [W[kj],…,W[k 一 M 十 1]]'。 这 个 向 量 表示 对 FIR 滤波 器 很 有 用 ， 在 第 :12 章 
自 适应 滤波 中 将 再 次 出 现 。 自 相关 函数 可 以 使 用 这 个 形式 写成 : 
Rxx[m ] = £[ X[ k ]X[k + m]] = b" £g[W[#]WT![# + m ]]b (8-293) 
其 中 期 望 里 是 一 个 及 2 的 方 阵 。 由 于 WREST A, RAW M— |m | —1 SES 
(从 较 早 得 到 的 自 相 关 函 数 的 形式 得 到 )。 期 望 可 以 写成 : 
£[W[k]W'[#£ + mJ] = oU |” (8-294) 
其 中 DER Y 是 一 个 上 移 位 和 矩阵; 


| Ge E usss 
Oro l > 0 
j; I ; (8-295) 
0 0 ... 1 
LO ees 0 OH 

因此 ，U” 在 主 对 角 线 上 侧 沿 对 角 线 方向 有 m 个 元 素 为 1， 并且 由 于 UY =0, CER 
零 的 。 自 相关 函数 为 


| 
| 


Rx [m] = akbrU | "lb (8-296) 
这 是 式 (8-291) 的 另 一 种 表达 式 。 收 集 疝 量 里 的 所 有 自 相 关 项 ， 得 到 下 列 Yule-Walker 
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型 的 方程 组 : . 
Rxx [0] DID 
T 
ya = ain nit (8-297) 
Rxx[M—1] Pp 


它 具 有 有 限 长 度 ， 因 为 自 相 关 函 数 在 M 一 1 时 刻 以 后 是 0。 遗憾 的 是 ， 这 个 表达 式 是 参数 
的 非 线 性 函数 ， 一 般 不 容易 求解 。 
8-15 考虑 MA 模型 的 最 一 般 情况 ， M=2, b = Fba bl], 从 而 





b'b = b; + bi ,biUb = b,b; (8-298) 
A ow=1, Rxxl0J=n > Rxx[1]=r, Hbi =r /b, RA bi Hbi =r, 得 到 
bi — roi +ri = 0 (8-299) 


这 是 如 MIKE. b 30 A Sd, 且 Rxx [m] 是 一 个 有 效 的 自 相 关 函 数 。 对 于 
r=4ri, RURA, bi= + /r,/2, b= Er V2/ro。 因 此 ， 即 使 在 这 个 简单 的 例子 中 ， 
由 于 式 (8-297) 中 的 二 次 形式 ， 解 不 唯一 。 显然 ， 当 M 值 较 大 时 ,求解 的 这 些 方程 变 得 
更 难 7 -通常 会 有 多 种 解决 方案 。 < 
8.13.3 ARMA 模型 | 


正如 名 字 所 暗示 的 ，ARMA 模型 是 AR 和 MA 模型 的 组 合 。 随 机 序列 写成 : 
X[k] = 3la,X[k — n] + Sb Wik—n] = a™X[k—1]+5"WLk] — (8-300) 
其 中 向 量 a Mb 定义 同上 。 它 的 传递 函数 是 : 


6.27 B 
1— > ae" 
n=1 
从 而 功率 谱 密度 为 : 
B(xz)B(zx !) 


= = 
Sunk) = ow PG) 1 aA DN a 


系统 框图 如 图 8-29c 所 示 。ARMA(1，4) 过 程 的 现实 例子 是 之 前 AR(1) 和 MAC) H 
例子 的 组 合 ， 如 图 8-34 所 示 ， 从 中 可 以 看 出 因为 相关 性 的 增加 ， 它 们 有 更 大 的 结构 。 
MD 生成 图 8-34 仿真 结果 的 模型 的 功率 谱 密 度 为 
s Cy B B(z)BG") 
(1 —az')Q at) 
其 中 对 于 中 = [1,1,1,1] : 
B(z)B(= 1) = =š 28 PHF 十 也 7 十 3( + z) + 4 (8-304) 
由 于 分 子 具有 相对 简单 的 形式 ， 可 以 利用 双边 之 变换 的 时 移 性 质 得 到 RxxLmj 每 个 部 
分 。 由 附录 C HA z RHA: 





(8-303) 





apu. wepy paja I 
(1 — az) (1 — az) 1— a (8 305) 
从 中 可 以 得 到 
2 
Rxx [m] = al +3¢al="1 +al™l) 
+2(a|=2| pall) pall tall] (8-306) 


图 8-35 E iH T a 分 别 为 正 负 值 (oy 一 1) 时 自 相 关 函 数 的 例子 。 可 
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c) 
图 8-34 不 同 参 数值 对 应 的 ARMA(1,4) 序列 的 现实 的 例子 。a) HIREA; b)a=0.9,b=(1,1, 
1,1,1]" 对 应 的 输出 ; c) a 二 一 0.9,b== [1, 一 1,1, 一 1,1]" 对 应 的 输出 
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图 8-35 b= [1,1,1,1,1]" 时 , ARMA(1,4) W AA RA I. a) a=0.9; b) a=—0.9 
B HARAKO š AMPH: 
ELXLRIXLk + m]] = Fla, ée(X[k—n]X[k+m]] 


AM 一 


+ ` b, ELWLk — n] X[k + m]] (8-307) 
从 而 得 到 类 似 滤波 器 本 身 的 递归 形式 : 


M-1 
Raxlm] = >la,R xx[m +n] hz S> rb R wx [m + n] (8-308) 
n=l n=0 
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回顾 输入 和 输出 的 自 相关 函数 的 关系 如 下 : 
Rwx lm] = Ryw[m ] * h[m] (8-309) 
其 中 hhLmj 是 式 (8-301) 中 ARMA 传递 函数 的 脉冲 响应 函数 。 由 于 WLR Row [m ] =owó[ m] 
的 白 序列 ， 互 相关 函数 与 系统 的 脉冲 响应 成 正比 : 
Rwx lm] = owh Lm (8-310) 
使 得 式 (8-308) 变 为 


N M-1 
Rxx [m ] = >la,Rxx[m + n] + av > b,h[m + n] (8-311) 
n=] n=0 


对 于 MA RM, Sst AE 0, HETRE Alm +n) =Rwx [m+ +n]=)b,+, 
Mit "AE — 4 PET R S.A i ) 受 等 式 右边 第 一 项 的 影响 ;， (ii ) 第 二 
项 中 的 h[mj 实 际 上 是 b, 和 及 [nj] 的 确定 性 互相 关 函 数 ， 取 决 于 a 和 b， 使 得 对 于 一 般 的 
ARMA 模型 ， 求 解 式 (8-311) 更 为 复杂 。 

观察 发 现 第 二 个 求 和 是 不 对 称 的 : 对 于 mw 过 0 时 ， 脉 冲 响应 ji 十 四 相对 于 b, 向 左 移 
动 ， 并 且 由 于 有 h(n) 为 无 限 长 ,共有 M HORA. MF m>0, kopi ALmt+ nl MM F b, 
癌 右 移动 ， 并 且 由 于 nn 宇 M hb, 是 零 ， 随 着 右 移 的 增加 求 和 项 的 数目 递减 ， 当 mM 时 ， 
求 和 为 0。 因 此 ， 有 可 能 从 下 式 计算 a 


Rxx [m ] = APT cre ae (8-312) 
假设 |m| 三 M， 从 而 下 面 的 Yule-Walker 等 式 可 解 ， 
RxxLM] Rxx[M +1] + RxLM+N] a, 
Raif M1] j Rix [M+ 2] Rie EM Ni+ 1] ae as 
[M+ N — 121 i RMAN] ¿== Bot M+ BN J lan 


这 个 表达 式 不 同 于 AR 模型 的 式 (8-282)， 区 别 在 于 自 相 关 函 数 的 时 间 沾 后 量 必须 超 
过 ARMA 模型 的 MA 部 分 的 阶 数 。 遗 憾 的 是 ， 即 使 能 够 简单 得 到 a， 仍然 难以 计算 bp， 因 
为 在 式 (8-311) 中 它 乘 以 脉冲 响应 h[Lnj， 而 h[nj 又 取决 于 a Fb; 该 问题 的 非 线 性 度 比 求 
fE MA 模型 的 b 更 高 。 

重新 整理 (8-311) 如 下 : 


N M-1 
Rxx [m ] — >a Rx [m +m] = ow Doh [m+n] (8-314) 
n=1 n=0 
其 中 有 = 变换 : 
[1 — Az!) ]Sxx (z) = of B(z) H( 2") (8-315) 
AAS (8-301) PH H(z), Ff pS. 
[1 — Az) J[1 — A(z= 1) ]Sxx (z) = ov B( 2) BC 2") (8-316) 


上 式 与 式 (8-302) 相 同 。 右 侧 的 z 反 变换 与 MA 模型 的 式 (8-291) 相 同 。 因 此 ，ARMA 模型 
参数 可 以 产生 如 下 : Ci) OM XLRI SESE AY BY OE ERT Rex [mj 和 Sxx [z]; (iD 使 用 
式 (8-313) 的 Yule-Walker 方程 计算 参数 Ale); (ii 得 到 式 (8-316) 左 边 的 z 反 变换 ; Civ RA 
等 式 右边 得 到 部。 与 MA 模型 情况 一 样 ， 最 后 一 步 是 非 线 性 的 ， 可 以 有 多 种 解决 方案 。 

最 后 ， 我 们 介绍 另 一 种 参数 估计 方法 ， 假 设 随 机 序列 具有 特定 的 信号 和 噪声 结构 ， 使 
得 可 以 得 到 自 相 关 和 矩阵 的 特征 结构 。 比 起 一 般 的 谱 估 计 ， 这 种 子 空间 方法 更 适用 于 噪声 中 
的 窄带 信号 检测 。 第 13 章 将 介绍 子 空间 方法 ， 如 分 离 从 不 同方 向 的 天 线 阵 列 上 的 得 到 的 
对 应 于 多 输入 系统 的 多 个 窄带 信号 。 


8.14 ”系统 辨识 


系统 辨识 与 8. 13 节 信 号 模型 密切 相关 ， 如 图 8-36 所 示 。 我 们 感 兴趣 的 是 从 它 的 输出 
Y[Lk] 和 输入 VL[kj] 的 测量 结果 中 估计 未 知 系统 的 B(z)/A(z)。 我 们 通常 假设 VLk] 为 白 序 
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列 ， 但 仍 假定 输入 可 测 ( 前 面 的 信号 建 模 假定 它 不 可 测 )。 然 而 ， 受 不 可 测量 的 加 性 白 噪 声 
WLk] 的 影响 ， 系 统 辨识 过 程 并 不 简 





单 。 此 外 ， 噪 声 可 能 被 某 些 传递 函数 ed. Wik) 
C(z)/D(x) 过 滤 ， 使 得 输出 非 白 (功率 。 可 测量 i Bey Ea 
谱 密 度 不 平坦 )。 在 这 里 可 能 既 要 估计 的 输入 wat 的 输出 


B(z)/A(z)， 又 要 估计 C(z)/D@). vk [aa ee 
此 外 ， 图 中 求 和 得 到 的 输出 可 能 还 要 | Ay | 
进一步 通过 未 知 滤波 器 FC), 
出 XLA] 不 能 直接 观察 得 到 。 假 定 用 于 
滤波 器 组 件 辩 识 的 各 种 算法 (如 果 有 的 话 ) 的 多 项 式 是 1。 最 简单 的 情况 假定 A (z) = 
C(z) 二 D(z) 二 了 (z) 三 1， 使 得 仅 需 从 VL&] 和 XLkj 的 测量 结果 估计 B(x)。 

系统 辨识 的 目的 是 确定 描述 测量 信号 的 滤波 多 项 式 ， 与 信号 参数 建 模 的 技术 类 似 。 信 
号 建 模 中 得 到 的 系统 可 以 反 过 来 用 于 合成 测量 信号 ， 常 通过 对 白 噪声 序列 滤波 得 到 。 该 滤 
波 器 还 提供 了 谱 信 息 。 与 此 相反 ,系统 辨识 的 目标 是 产生 一 个 模型 ， 它 还 可 以 有 其 他 应 
用 ,例如 在 控制 系统 中 需要 复杂 系统 模型 来 控制 实际 系统 。 

假设 可 以 得 到 图 8-36 所 示 的 系统 模型 的 输入 V[k&] 和 输出 YLk]。 注 意 实际 系 统 可 能 不 是 
这 样 的 形式 ， 有 可 能 包含 非 线 性 和 时 变 分 量 。 然 而 ， 如 果 非 线性 部 分 影响 较 小 ， 并 且 模 型 参 
数 的 计算 和 更 新 足够 快 ， 滤 波 器 多 项 式 可 以 相当 准确 。 混 合 使 用 时 域 和 x 域 符号 ， 可 以 写成 
B(z) C(z) 








FC<)Y[R] = Ate) “ed + Do) VL (8-317) 
其 中 多 项 式 定 义 如 下 (注意 其 中 一 些 第 一 项 必须 为 1): 
Alz) &l+az' +" Hayz "t (8-318) 
Bz) A&b, + biz! Heet bu z (8-319) 
Cie) Zc, Haz? + == Fem (8-320) 
D(z) 21+ dr + = + du z (8-321) 
F(z) 41+ fiz” + F fz 2 (8-322) 
混合 符号 含义 如 下 : 
M 
F(z)Y[k] = Y[k] + SI YTa —m] (8-323) 
as 


其 中 这 里 的 = 一 :函数 表示 延 时 一 个 单位 : zx 'YLRJ=Y[R—-1]. 

前 面 的 模型 相当 普遍 ， 并 且 在 大 多 数 应 用 中 ， 多 项 式 的 一 项 或 多 项 假定 为 1。 我 们 总 
结 了 一 些 特殊 的 情况 。 

© 有 外 加 输入 的 ARMA #4 (ARMAX), A(z)=D(z)=1; 





F(2)Y[k] = BCz)V[E] + CGOW[k] (8-324) 
ARMAX 模型 的 一 个 特例 是 当 C(z)=1 时 : ` 
F(2)¥[k] = Bez) VER] EWR] (8-325) 
这 被 称 为 ARX 模型 。 
e ARMA #4, A(z)=D(z)=1, Blz)=0; 
F(2)Y[k] = CWR EYLE] = CCE WER] (8-326) 
特殊 情况 包括 MA 模型 (F(z) 王 1): 
Y(k) = C(z)W[k] (8-327) 


和 AR 模型 (C(z) 一 1) ; 
F(2Y(k) = wiek] = AWE (8-328) 


è Box-Jenkins 模型 F(z)=1; 
B(xz) 
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Cleze) 





Y[k] = AE Ve] + BS WIA (8-329) 
e iN ag FCz)=1 B Clz)=D(z); 
y[k)= P@ vee] + w[zJ (8-330). 
A(z) 


这 对 应 于 有 加 性 噪声 的 TIR 滤波 器 ， 当 A(z) = 1 时 变 成 一 个 FIR 滤波 器 。FIR 和 IIR 
输出 误差 滤波 器 自 适应 算法 将 在 第 12 章 讨论 。 
° 公式 误差 。A(z)=1 且 C(z) 一 DCz) 一 1; | 

i F(z)Y[k] = BC) VLA] + W[ #] (8-331) 
公式 误差 滤波 器 自 适 应 算法 也 将 在 第 12 章 讨论 。 
图 8-37 中 给 出 了 输出 误差 和 公式 误差 模型 ， 加 性 噪声 没 必 要 是 白 序列 ; 因此 ， 我 们 
上 面 可 以 包括 CAD), 但 第 12 章 没 有 像 Box-Jenkins 模型 那样 辨识 噪声 多 项 式 。 


不 可 测量 





图 8-37 IR 系统 辨识 。a) 输出 误差 模型 ，b) 公式 误差 模型 


各 态 历经 性 


8-1 


8-3 


(a) 推 导 式 (8-23) 的 随机 序列 X[k] 具 有 均值 

各 态 历 经 性 的 必要 和 充分 条 件 ; (b) HE BH 

式 (8-24) 的 充分 条 件 。 

设 X[kj] 均 值 为 0， 自 相关 函数 Cxx [m]= 

al”! 。 判 断 该 随机 序列 是 否 满 足 习题 8-1 的 

两 个 条 件 。 

假设 X(t) 具 有 均值 各 态 历经 性 ，Y 是 一 个 与 

X(i) 独 立 的 随机 变量 。 定 义 随机 过 程 Z(1) = 

YXO), 判断 该 过 程 是 否 也 具有 均值 各 态 历 

经 性 。 注 意 一 个 现实 的 形式 是 z(t) = yz=(t), 

因此 当 z(1) 变 化 时 ，y 取 值 不 变 。 

随机 过 程 X(O 均 值 为 0， 自 相关 函数 如 下 : 
Rxx (z) = (1— r°) Ita. Cr) (8-332) 

判断 X(D 是 否 具有 均值 各 态 历 经 性 。 

随机 过 程 X(z) 具 有 以 下 周期 自 相 关 函 数 : 

Cxx (z) = 2cos(2xf.r) (8-333) 

判断 当 频 率 f. 固定 时 ，X(z) 是 否 具 有 均值 

各 态 历 经 性 。 

如 果 Rxx (r) 一 exp( 一 |z|)， 利 用 例 8-3 的 

结果 判断 该 零 均 值 高 斯 随机 过 程 X(z) 是 否 具 


有 相关 函数 各 态 历 经 性 。 
功率 谱 密 度 
8-7 对 于 互 功率 谱 密 度 ,， WWM: Swi f= 
Syx (一 用 ; (b) 虚 部 是 奇 函 数 。 
8-8 考虑 下 列 随 机 过 程 : 
X(t) = asin(2xf,t+) (8-334) 
其 中 是 [一 x/2，x/2] 上 的 均匀 分 布 。 计 算 : 
(a) 自 相关 函数 Rxx (tr);(b) 功 率 谱 密 度 Sxx (f), 
8-9 (a) 计 算 下 式 的 功率 谱 密 度 和 频率 范围 f < 
Lf. —W, f. +W] 上 的 平均 功率 。 其 中 Wf 
Rxx (z) = exp(— à |r |)cos(2rxf.r) 
(8-335) 
(b) 写 出 功率 谱 分 布 的 表达 式 。 
8-10 对 
Rxx (z) = exp(— r’ /2o°) (8-336) 
重复 习题 8-9。 其 中 f € [— W.W], W=o. 
8-11 对 习题 8-9 中 的 Rxx (z) 进 行 功率 谱 密 度 分 
解 ，Sxx (s) =S#x(s)Sxx(s), 
8-12 #XM=SH)+W), HP S(t) 和 WW 的 
自 相关 函数 分 别 为 Rs (z) =5exp(> |= | ) 和 
Rww(r) 一 SCr)。 假 设 S(t) 和 W() 不 相关 ， 
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对 X(7) 的 功率 谱 密 度 进行 因子 分 解 。 
8-13 it XLkj 是 一 个 广义 平稳 随机 序列 均值 为 
0, AX PAR Rex [Lm] 二 (No/2)5[Lm]。 证 
明 为 得 到 平坦 功率 谱 密 度 ， 对 应 的 白 噪 声 
序列 均值 必须 为 零 。 
线性 时 不 变 系统 
8-14 ”线性 时 不 变 系统 满足 以 下 差分 方程 : 
Y[k] =X[k]+ (1/2)X[x—1] 
十 (1/4)Y[k& 一 1] (8-337) 
如 果 输 入 的 Rxx [m]= 260m]. 计算 输出 的 
功率 谱 密 度 Syy (jw). 
8-15 计算 下 列 系统 的 功率 谱 密度 : 


Ya) = f X(u)du — (8-338) 
其 中 Rxx (rt)=26(7) 
8-16 ”线性 系统 的 传递 函数 为 : 
iG) = 2 (8-339) 


(s 十 1)(s 十 2) 
当 输 入 信号 的 Rxx (z) =exp(—2 |z | ) Bt, 
H P Hi AY B $R: PRK Ryy (z) 。 

8-17 ” 当 线 性 时 不 变 系统 的 输入 信号 广义 平稳 时 ， 
写 出 式 (8-152) 中 的 相关 结果 。 

8-18 当 线 性 时 不 变 系统 的 输入 信号 广义 平稳 时 ， 
写 出 式 (8-156) 中 的 功率 谱 密度 。 

8-19 ”输入 信号 为 X(2) 的 线性 时 不 变 系统 满足 以 


下 微分 方程 : 
PY) dY (t) < 
“a 4 a TYO = X(t) 


(8-340) 
其 中 Ry (z) = (1/2)86(z), BH FWRAR: 
(a)Sxy (fl Rwy (z); (b) Sy (AM Ry (z) , 
8-20 考虑 一 个 线性 时 不 变 系 统 ， 其 输入 为 XC), 
输出 为 Y(1)， 冲 激 响应 
h(t) = texp(—Ar)u(t) (8-341) 
其 中 A>0. 34 Rg (zy 一 SGr) 时 ， 写 出 
Rvx(r) 和 Rr(z) 的 表达 式 。 
8-21 假设 X, (AIA H(z) 滤 波 后 的 输出 为 Y) Ck], 
X[k 经 H(z) 滤波 后 的 输出 为 Y, [k]. 
(a) 写 出 Sy v, (z) 的 Sx, x, (z) 形 式 的 表达 式 ; 
(b) 如 果 系 统 的 频率 响应 互 不 重 释 (例如 带 
通 系统 )， 证 明 输 出 过 程 是 正 交 的 。 
带宽 
8-22 ”计算 下 列 功 率 谱 密度 的 : (a)3dB 带宽 ; (b) 
噪声 等 效 带 宽 : 


进一步 阅读 

本 章 涉 及 的 资料 也 可 以 从 第 6 章 末 尾 和 第 7 章 随 机 
过 程 对 应 的 参考 文献 中 找到 。 有 关 特 定 主题 的 详细 
信息 可 在 以 下 文献 找到 。 噪 声 : Cohen (2005)、 
Larson 和 Shubert(1979)。 谱 估计 : Kay 和 Marple 


Sxx (f) = 40 — | f ID Ips.) 


(8-342) 
8-23 如果 
Set fy oy (8-343) 
重复 习题 8-22 


8-24 计算 习题 8-10 对 应 的 功率 谱 密 度 的 : (a) 均 
方 根 带 宽 ; (b) 噪 声 等 效 带 宽 。 

ait 

8-25 利用 离散 时 间 传 里 叶 变 换 的 性 质 , 证 明 
式 (8-225) 和 式 (8-227) 都 是 周期 图 的 等 价 表 


达 式 。 

826 ”考虑 互相 关 函 数 Rxy[z] 的 下 列 估计 ， 
N—|m|—1 

Ña [ml = >) z[kly[k- m] 


(8-344) 

证 明 ， 如 果 Ryx [m]=Rx/[—m], «Mat 
的 期 望 的 形式 与 式 (8-223) 类 似 。 

8-27 导出 M=2 时 ， 式 (8-287) 中 MA 序列 的 功 
率 谱 密度 Sxx (jw) 的 表达 式 。 

8-28 ”考虑 下 面 的 ARMA 模型 : 

H(z) = PT hZ ~ (8-345) 
零 均值 输入 WLIW A +X HK Rww [m ] = 
owO Lm |. 写 出 输出 X[k] 用 参数 {ai sbo sbi} 
表示 的 Rxx[k] 和 Sxx (z) , 

8-29 对 于 具有 N 个 参数 的 一 般 AR 模型 ， 当 输 
入 WILkj] 是 方差 为 ofy 的 白 噪声 序列 时 ， 推 
导 输 出 X[k] 用 Rxx [mj 表示 的 方差 。 

仿真 作业 

8-30 ”用 randn 产生 1000 个 方差 为 1 的 高 斯 白 
噪声 W[j 的 样本， 并 使 用 下 列 滤波 器 得 
到 输出 XL&j]: 


H(z) = 


—a,z' 


2 
1— (5/6)2'+ (1/6)z ° 
(8-346) 
画 出 三 [LA 和 XLA 的 现实 例子 。 在 计算 过 
程 XLA] 的 周期 图 时 ， 先 采用 矩形 窗 ， 再 利 
用 Bartlett 窗口 ， 画 出 得 到 的 周期 图 。 
3，4} 的 xcorr, HES A AK PAK Rxx [mj] 的 
估计 。 利 用 MATLAB， 将 Yule Walker 方 
程 中 的 N IR 2 一 4， 估 计 这 个 系统 的 参数 。 


(1981), Kay(1986), Porat(1994), Stoica 和 Moses 
(1997) 。 信 号 参数 模型 和 系统 辨识 : Box 和 Jenkins 
(1970), Chatfield (1980), Ljung 和 Söderström 
(1983). Ljung(1987), Therrien(1992), 


第 On 
充分 统计 量 和 参数 估计 


9.1 引言 


本 章 ， 我 们 想 找到 由 一 组 随机 变量 组 成 的 函数 ， 以 估计 基本 分 布 中 的 未 知 参数 。 这 样 
的 函数 被 称 为 统计 量 ， 它 通常 会 在 不 丢失 参数 “信息 ”的 前 提 下 将 随机 变量 的 数目 (被 称 为 
样本 ) 减 少 到 最 小 。 这 个 过 程 可 总 结 如 下 : 
e iz X(b) 是 一 个 随机 过 程 ， 具 有 参数 为 标量 0 的 固定 的 概率 密度 函数 fx(z)。 假 设 0 
无 法 通过 观测 得 到 ， 即 它 不 能 通过 直接 采样 得 到 ， 只 能 通过 X(z) 的 样本 得 到 。 
e 随机 过 程 被 采样 N K, FEN 个 独立 同 分 布 (iid) 随 机 变量 (Xi +, Xv} AEX) 
包含 了 未 知 参数 0 同等 的 信息 ， 但 特定 的 输出 {z*} 通 常 是 变化 的 。 
e 采样 后 的 目的 是 用 函数 来 组 合 {X,}， 以 给 出 为 了 估计 9 所 需 的 “更 简单 ”的 量 。 由 于 
N 通常 远大 于 参数 的 数目 ， 所 以 通过 组 合 {X,} 将 样本 “浓缩 ”到 一 个 或 多 个 随机 变 
量 ， 该 随机 变量 被 称 为 “充分 统计 量 ” 。 因 为 在 将 N 个 随机 变量 映射 到 较 少 随机 变量 
的 过 程 中 关于 0 的 信息 未 丢失 ， 因 此 ， 这 些 统计 量 是 “充分 ”的 。 
{X,} 也 可 从 随机 序列 XLAJ 的 样本 推导 出 ， 它 也 可 能 就 是 一 个 不 考虑 时 间 的 特定 随机 
变量 的 N 个 样本 。 为 了 符号 的 方便 ,在 X, 中 用 一 个 下 标 来 表示 它 是 随机 过 程 X(t)、 随 
机 序列 XLkj 或 随机 变量 X 的 一 个 样本 (随机 变量 )。 样 本 不 需要 从 过 程 /序列 的 均匀 时 间 
抽样 中 收集 ; 我 们 可 以 简单 的 将 {X,} 看 做 一 组 参数 为 9 的 ud 随机 变量 。 
KTERE, AXA {X Xn) 来 代表 N 个 样本 , x B(x ey) 来 代表 特定 输 
出 。( 注 意 到 这 里 用 黑 和 斜体 表示 的 记号 也 用 在 标示 随机 向 量 和 它们 的 输出 。) 


9.2 统计 量 


EM AHS) ”统计 量 本 是 随机 变量 站 的 函数 ， 它 本 身 也 是 一 个 随机 变量 。 

关于 符号 ; XRAY, 我们 可 以 写 为 T=g(X), 但 这 也 不 是 必须 的 ， 本 章 
后 面部 分 才 需 要 。 对 于 特定 的 输出 六 二 x， 统 计量 的 值 是 T= 二 t。 样 本 本 通 常 被 用 在 估计 器 
的 统计 描述 中 (所 以 我 们 在 这 章 一 开始 就 用 它 )， 注 意 不 要 与 用 来 表示 时 间 间 隔 的 了 混淆 。 

定义 (估计 器 ) 0 的 一 个 估计 器 是 一 个 统计 量 工 ， 它 是 样本 买 的 函数 ， 并 且 具 有 特定 
的 理想 特性 。 : 

样本 均值 可 能 是 运用 最 广泛 的 统计 量 : 


1 < y 
if, = lux SX (9-1) 
它 是 实际 均值 wx 的 无 偏 估 计 器 。 以 下 统计 量 
3 (9-2) 


包括 对 于 jxx 5 X 基本 相同 的 信息 ， 但 它 是 一 个 有 偏 估计 器 。Ti 和 T 在 统计 意义 上 是 等 
价 的 ， 因 为 它们 可 由 一 一 对 应 的 函数 ols KARR: 
T, = z(T,) = 六 Ta， 二 (9-3) 


其 中 8g  (。) 是 反 向 映射 。 稍 后 ， 我 们 将 深入 讨论 统计 量 是 样本 的 函数 或 映射 这 个 观念 。 梧 


356 ”第 二 部 分 随机 过 程 、 系 统 与 参数 估计 


样本 方差 是 一 个 统计 量 ， 
N 
a — X): AS? W 
T= yay X. — Xy AS (9-4) 


求 和 项 除 以 N 一 1( 而 不 是 N， 这 是 “自然 的 ”选择 )， 这 样 才 能 保证 样本 方差 是 真实 方 
差 的 无 偏 估计 器 。 4 
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充分 统计 量 对 于 参数 估计 问题 非常 有 有 用。 考虑 具有 未 知 参 数 0 的 pdf fx (z;0) ， 符 号 
强调 了 9 是 待 估 参 量 。 例 如 ， 9 可 以 是 参数 为 {y,o} 的 iid 高 斯 随机 序列 的 均值 和 方差 。 假 
设 我 们 有 N FK X. T 为 样本 的 函数 (映射 ) 。 初 始 的 N 个 观测 值 构造 了 充分 统计 量 T, 
它 包 括 了 就 估计 9 而 言 相 同 的 信息 : 对 于 实现 估计 它 是 充分 的 。 因 此 ， 如 果 本 是 可 用 的 并 
且 充 分 的 ,那么 初始 的 观测 数据 集 半 并 不 会 对 估计 9 提供 更 多 的 信息 。 

定义 (充分 统计 量 ) 统计 量 工 在 估计 参数 晶 时 是 充分 的 ， 如 果 条 件 概 率 P(X=x|TT==?) 
不 是 0 的 函数 。 当 随机 变量 是 连续 的 ， 如 果 条 件 pdf fç|r (x |£) £ 2 0 6 HK, MJ 工 是 充 
分 的 。 

条 件 概率 可 被 重 写 为 : 

PO =x,T =). RR 2 m) 

PRs lt ya) = sepa pre pb 

第 二 个 等 式 成 立 是 因为 (x,t) 与 x St: 我 们 可 
由 x 确定 :。 最 后 一 个 表达 式 中 的 分 子 和 分 母 都 
与 9 相关 ， 尽 管 式 中 并 未 明确 显示 。 分 子 是 输出 
x 的 联合 概率 ， 分 母 是 具有 输出 t 的 统计 量 的 概 
率 ( 也 是 个 随机 变量 )。 充 分 统计 量 的 定义 的 隐 
含意 义 是 这 两 个 概率 同样 依赖 于 0， 因 此 分 子 和 


(9-5) 





例如 : 
不 可 观测 参数 。 均值 / 


高 斯 概率 密度 
分 母 中 0 的 函数 可 约 掉 。 图 9-1 中 的 方 框图 总 结 
了 参数 估计 中 用 到 的 充分 统计 量 。 i 
-ARA MT WES EM, MEF wie | N 
标量 参数 9。 后 面 ,， 我 们 将 定义 一 个 最 小 充分 统 hi ŠA Anpa NA 
计量 ， 它 由 统计 量 的 维 数 定义 ， 还 有 一 个 完 = , 
充分 统计 量 ， 它 的 定义 更 复杂 些 。 图 9-1 参数 估计 中 用 到 的 充分 统计 量 的 总 结 





JED 设 (X,} 是 一 个 参数 为 户 的 伯 努 利 随机 变量 的 样本 ， 求 和 量 工 一 Xx, 具有 = 
MAAM, AAA (N.p), 由 式 (9-5) : 


P(X =x) _ Il psa i a (9-6) 
PT =t) uN) ey) (ice IÑ 
Ejeet: wer (O) 
得 到 最 后 的 结果 是 因为 =. HFOARAKTE p HERR q Alp), TH 
Cees SAS 4 
设 {X,} 是 一 个 参数 9 二 4 的 指数 分 布 ， 因 此 它们 的 联合 pdf 为 ; 
fx(x) Seii adie, ) I F k Se) (9-7) 


为 了 确定 T = DX, 是 否 充 分 ， 考虑 以 下 随机 变量 集合 的 变换 ， 这样 计 算 需要 的 条 件 
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pdf 更 简单 : 对 nn 二 1,…,N 一 1,Y, =X, Ya = 》 1X。 这 个 变换 是 可 递 的 ， 因 为 X. = 
n=1 


N=1 
=) Y, Y A[Y Yn] 的 联合 pdf FH: 
js A 一 1 N 
fy Gy) = ANexp(— Ayn) Ito., (Xv ) TI tro.» (0) (9-8) 
=] = 


Na 


其 中 的 指示 函数 确保 了 对 于 非 负 的 {y "} 和 yw 之 Diva» pdf 是非 零 的 。 之 所 以 选择 这 种 特 
定 的 变换 是 因为 Yw 是 待考 察 的 统计 量 。 我 们 强调 {Y,} 的 联合 pdf 与 {X,} 的 不 同 。 但 由 于 
ERETZA, TEN Ys 是 对 和 来 说 是 充分 的 ， 也 就 证 明 Dx, 是 充分 的 。 条 件 pdf 为 : 


OAD ep ay — _ 
Jy e y l t] Yy Cy ott? yw | ys) Fe ton) G7FCN) ly exp C aw) 
N N 
TA. oy FV Yee. Co) (9-9) 
n=1 n=l 


其 中 分 母 fy CN) 是 参数 为 {M，r 一 入 } 的 一 个 伽 马 随机 变量 的 pdf。 化 简 后 ， 我 们 看 到 条 
件 pdf 与 和 独立 : 


N 
六 rw [ty ret en | yw) = EN yX eos (X>. ) TI tem O) (9-10) 


因此 T=Yv MTA 是 充分 的 。 < 
尽管 一 个 充分 统计 量 的 定义 很 具有 吸引 力 ， 但 并 不 总 能 很 容易 的 推导 出 条 件 概率 : 用 
定义 来 证 明 一 个 统计 量 是 充分 的 是 非常 宛 长 乏味 的 。 接 下 来 的 定理 允许 只 用 检查 样本 的 联 
合 pdf 来 确定 统计 量 是 否 充 分 ， 不 再 需要 将 其 重 写 为 一 个 条 件 pdf. 
定理 9-1( 费 希 尔 -纽曼 因子 分 解 ) HX Z AR 4 k 3 45 3: 0 的 pdf fx (z; 0) 中 得 到 的 
样本 。 统 计量 全 对 于 9 是 充分 的 ， 当 且 仅 当 它 们 的 联合 pdf 可 做 如 下 分 解 : 
fx(x;0) = h(x)g(t;0) (9-11) 
HPA A—-AGER BK, SORKRK, lt; 9) 是 一 个 与 9 相关 的 非 负 函数 ， 且 只 通过 
T=t7 Z WW H x 的 函数 。 
证 明 : 必要 性 : 假设 工 是 一 个 充分 统计 量 ， 我 们 可 以 得 到 : 
Falar = yy (est) (9-12) 
等 式 成 立 是 因为 工 是 一 个 观测 的 函数 ， 并 且 除 了 初始 样本 的 信息 外 并 没有 提供 其 他 信息 。 
证 明 可 从 联合 累积 分 布 函数 (cdf) 开 始 ， 然 后 证 明 因为 包括 了 T, ,概率 不 会 改变 ， 与 
式 (9-5) 所 做 类 似 。 将 此 表达 式 重 写 为 条 件 概率 的 形式 : I 
fx(x;0) = fyir lx ltiO) fr(t30) = h(x)g(t;0) ` (9-13) 
其 中 h(x)2 firal; 9) 与 0 无关 ， 因 为 它 以 为 条 件 ， 而 我 们 已 假设 工 是 充分 的 。 另 
一 项 g(t; D& fr(t; 0):— 4 0 的 函数 ， 只 通过 1 与 样本 相关 
充分 性 : 如 果 统 计量 的 pdf 为 : 


广 (40) = oy xe) = rig >) fCx;0) (9-14) 
写成 了 联合 pdf 的 N 个 变量 的 和 的 形式 。 第 二 个 表达 式 成 立 是 因为 T 是 一 个 XX 的 函数 。 
代入 式 (9-11), 将 g(1;9) 提取 出 来 得 到 : 

fr(t;0) = 22: DAO = g(u;0) X>): Dy h(x) (9-15) 


xT=t 


由 充分 统计 量 的 定义 ， 我 们 需要 证 明 以 下 条 件 pdf 独立 于 0: 


— fx.r(x,t+0) oad fx(x;0) 
fx|r (x lt frG:0) fr(t;0) 
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h(x)g(t;0) h(x) 


dy T Sy SD Sac) 


xT=t xT=t 


第 一 个 表达 式 是 一 个 条 件 pdf 的 定义 ， 第 二 个 表达 式 由 式 (9-12) 得 到 ， 第 三 个 表达 式 
将 式 (9-11) 代 入 得 到 。 由 于 包含 9 的 项 被 消 掉 ， 最 终 的 结果 可 证 明 条 件 pdf 不 是 一 个 9 的 
函数 ， 证 明 完 毕 。 

GEB 由 式 (9-7) 中 指数 分 布 的 联合 pdf， 我 们 得 到 


(9-16) 


N 
h(x) = |] le... (Z), gltsd) = AX exp(— ar) (9-17) 
n=1 


Hib T= IX HFA 是 充分 的 。 观 察 到 指示 函数 包括 在 h(x) 中 ， 因 为 它们 与 和 4 无关。 


< 
当 定义 域 有 限时 ， 指 示 函 数 尤 其 有 用 。 假 设 各 pdf #[0, 0] L32224, M| 
联合 pdf 为 : 


N 
fx(x;0) = WLI Foon C.) 一 页 Ioa(zom) (9-18) 
n=] 


它 只 与 N 阶 统计 量 ( 见 第 4 章 ) 相 关 。 如 果 Zzeow 委 9， 则 所 有 其 他 样本 都 小 于 0， 因 此 其 他 的 
N 一 1 个 指示 函数 可 以 忽略 。 则 


nes) ,0 = SY. 200 (9-19) 


gn 
MA, = Xin ZILA I , 

在 讨论 例 9-7 前 ， 我 们 来 对 充分 统计 量 和 顺序 统计 量 做 一 个 对 比 。 由 充分 统计 量 的 定 
义 可 知 完整 的 样本 (X i... Xs) 总 是 充分 的 。 当 然 ， 这 样 选 统计 量 没有 减少 变量 的 数目 。 
同样 ， 顺 序 统计 量 {Xa Xi) 也 是 充分 的 。 这 很 容易 看 到 ， 因 为 N 个 边缘 pdf 乘积 
的 排序 不 会 改变 联合 pdf: 


In, (x,) = TI Pa, G aa (9-20) 


因此 可 以 得 到 同样 的 因 式 分 解 结果 。 由 定义 还 可 以 证 明 顺序 统计 量 是 充分 的 。 x, TA 
排序 集 都 具有 基数 N! 因此 

POA = x| Xt = X.) aa esp = Fay) = LAN! (9-21) 
假设 x 是 一 种 可 能 的 排序 。 由 于 这 个 条 件 pdf 与 参数 0 独立 (这 里 不 需要 指定 )， 顺 序 统计 
量 是 充分 的 。 
UED 设 {X,}) 是 参数 为 19 二 po 二 1} 高 斯 序列 





fx(x;1) = mexp(— 1/2) 31 G: —2yr, +p°)) (9-22) 
这 里 为 了 方便 ， 我 们 没有 用 指示 函数 ， 因 为 每 个 之 ; 的 定义 域 都 是 及 。 观 察 到 
fx(x;1) = garl- (1/2) X, xt) exp( z 2 2. ) exp(— Ny? /2) (9-23) 
因此 ， 因 式 分 解 得 到 


h(x) = ayel- (1/2) 2222) "g(tsp) = exp(ut)exp(— Np’ /2) (9-24) 
因此 对 于 Ap T = 是 充分 的 。 但 注意 到 (对 于 NN 为 偶数 ) 


T= [ Xe > x] (9-25) 
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对 于 pj， 它 也 是 充分 的 ， 其 中 工 为 一 个 向 量 。 还 可 以 通过 将 这 两 个 和 式 分 成 4 个 和 式 等 方 
法 来 得 到 jy 的 其 他 充分 统计 量 。 尽 管 式 (9-25) 和 类 似 的 多 维 表达 式 对 yy 是 充分 的 ， i 
并 不 是 我 们 稍 后 将 讨论 的 最 小 充分 统计 量 。 

上 一 个 例子 要 说 明 的 是 对 于 未 知 参数 0 通常 有 多 个 充分 统计 量 。 表 9-1 总 结 了 之 前 具有 
未 知 方差 的 高 斯 情况 的 儿 个 充分 统计 量 ; 也 包括 了 几 个 统计 量 的 例子 ,它们 对 于 jy 不 是 充分 
的 。 寻 找 充分 统计 量 的 目地 就 是 将 维 数 减 到 尽 可 能 的 小 ， 但 仍 保 留 了 充分 性 (关于 9 的 信息 没 
AER 最 低 维 数 的 充分 统计 量 被 称 为 最 小 充分 统计 量 。 对 例 9-7 中 的 高 斯 分 布 , T= 


i > 显然 是 最 小 充分 统计 量 ， 因为 六 个 样本 已 减少 到 了 一 个 单独 的 统计 量 。 对 于 一 个 标量 


参数 9， 如 果 能 够 找到 一 二 个 单一 的 充分 统计 量 ， 则 其 自动 成 为 最 小 充分 统计 量 。 因 式 分 解 定 
理 通常 能 提供 一 个 最 小 充分 统计 量 ， 但 并 不 总 是 象 9-4 节 讨 论 的 那样 。 我 们 用 一 个 不 可 能 找 
到 一 维 充分 统计 量 的 标量 0 的 例子 来 结束 这 节 的 内 容 。 


表 9-1 参数 为 (6=1,oc=1) 的 高 斯 {X,} 的 统计 量 










样本 : X 
顺序 Xo) ，… ,Xn)} 


N 
RA: DX, 最 小 充分 的 
n=] 


{XX1，… ,XN-1} (缺少 一 个 样本 ) 不 是 充分 的 





N 
平方 求 和 : DX: (缺少 符号 信息 ) 不 是 充分 的 
n=l 


GED 考虑 一 个 均匀 分 布 的 情况 ， 具 有 如 下 的 联合 pdf: 


N 
fx(x) = ]IT; uz aan (20) = Tre-1y2,0+1/2] (ay ) Lpe-1/2,041/2) (Ze ) (9-26) 
n=l 
从 中 得 到 T=[X. X. J" 是 充分 的 。 直 观 1 
上 ， 显 然 其 他 的 顺序 统计 量 不 需要 了 ， 因 为 BO) 3SB8E=1 


我 们 只 对 pdf 的 边界 感 兴趣 ， 如 图 9-2 所 描 
述 的 ， 对 此 只 有 Xa 和 Xow 是 必须 的 。 因 
此 ， 即 使 只 有 一 个 单一 的 参数 6， 最 小 充分 顺序 样本 
统计 量 的 维度 也 是 2; 不 可 能 找到 一 个 充分 =r 5 ict 
的 单一 统 计 E. 对 于 0, es 或 x w £ Ë 都 图 9-2 “对 例 9-8 中 均匀 pdf fx (a) = Ivar1/21 (z) 


w = as 的 输出 示例 ， 其 中 {Xou Xow } 是 6 的 
FRRAB + CA Ft BA 最 小 充分 统计 量 。( 注 意 到 纵 轴 中 “ 断 ” 


9.4 最 小 充分 统计 量 线 是 为 了 使 图 看 起 来 紧凑 些 。) < 


为 了 估计 8， 我 们 可 用 任意 的 充分 统计 量 , 但 用 最 低 维 的 充分 统计 量 更 实用 。 由 于 所 
有 的 统计 量 都 是 样本 的 函数 ， 最 小 充分 统计 量 定义 如 下 。 

定义 (最 小 充分 统计 量 ) 参数 0 的 充分 统计 量 了 是 最 小 的 ， 如 果 它 可 以 被 表示 为 0 的 
每 个 其 他 充分 统计 量 的 函数 。 

由 于 六 个 样本 {Xi,…,Xw} 的 函数 不 能 增加 维 数 (定义 一 个 函数 时 对 每 个 自 变量 的 值 
只 有 唯一 的 值 与 它 对 应 )， 显 然 最 小 充分 统计 量 必 须 是 所 有 充分 统计 量 中 最 低 维 的 。 如 果 
最 小 充分 统计 量 与 男 一 个 充分 统计 量 通 过 一 个 一 一 对 应 函数 相关 ， 则 它们 都 是 最 小 的 ， 

它们 等 价 。 注 意 到 以 上 的 定义 中 有 两 点 需求 非常 重要 : CIT 必须 是 充分 的 ; CDT 


Xa) X2) X3) =  XN-1) X(N) 
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是 6 的 所 有 其 他 充分 统计 量 的 函数 。 
URED 对 于 均匀 pdf fx(z) 二 Jre_1z.a+121(ZX)， 以 下 的 单一 统计 量 不 是 最 小 充分 的 : 
T= (1/2) [Xap + Xw ] (9-27) 

即使 工 是 充分 统计 量 {XXu)，Xow} 的 一 个 函数 ， 它 也 不 是 充分 的 ， 因 为 86 的 一 些 信 息 

被 丢失 了 。 由 图 9-2 直觉 上 可 将 最 小 值 和 最 大 值 平 均 后 估计 9， 它 是 pdf 的 中 心 (9 是 均 

值 )。 但 是 ， 由 因 式 分 解 定理 ， 我 们 看 到 不 可 能 将 联合 pdf 中 剩余 的 两 个 指示 函数 结合 以 

实现 Xo 和 X. 的 求 和 。 当 N>, 可 以 证 明 式 (9-27) 中 的 统计 量 是 一 个 对 0 的 合理 估计 

器 。 事 实 上 ， 它 是 无 偏 的 : 





(1/2) EL Xa 十 > | 一 0 (9-28) 
因为 对 这 种 均匀 pdf 可 以 直接 得 到 (见习 题 9-4) : 
ELXa) J =0— 24+ i (9-29) 


ELXw J =0+1⁄2— 1 (9-30) 
% N->co， 一 阶 统 计量 的 均值 接近 均匀 pdf 的 左边 界 ， 而 N 阶 统 计量 的 均值 接近 右边 
界 。 期 望 值 绝 不 会 超过 边界 值 ， 因 为 EL[Xo] 中 加 上 了 1/(N 十 1)， 而 ELXn j 减 去 了 
1/(CN 十 1)。 尽 管 式 (9-27) 看 起 来 是 个 9 的 不 错 的 估计 器 ， 而 且 它 是 最 小 统计 量 ( 是 一 维 的 )， 
但 它 不 是 充分 的 。 a 
初始 的 样本 {X! ,… Xn) 永远 不 可 能 是 最 小 充分 的 。 但 由 于 顺序 统计 量 总 是 充分 的 ， 
而 它们 是 初始 样本 的 函数 ， 可 以 是 最 小 的 ， 这 就 排除 了 初始 样本 是 最 小 的 。 尽 管 不 是 很 明 
显 ， 顺 序 统计 量 实际 上 是 初始 样本 的 简化 (即便 维度 仍 为 N) ， 因 为 初始 样本 的 索引 已 经 不 
再 已 知 。 初 始 样本 不 可 能 表示 为 顺序 统计 量 的 函数 。 
接 下 来 ,我们 讨论 两 种 得 到 最 小 充分 统计 量 的 方法 : 一 种 用 于 具有 公共 定义 域 pdf， 
另 一 种 是 没有 公共 定义 域 的 。 一 个 含 未 知 均值 y 的 高 斯 随机 变量 有 公共 定义 域 的 pdf: 无 
论 9 取 何 值 ， 样 本 的 范围 是 相同 的 。 而 对 于 一 个 pdf 为 fx (z) = I+ (z) BJ) EJ J BE HL 
变量 的 情况 则 不 同 : 9 值 的 改变 显然 直接 决定 了 可 能 的 输出 的 范围 。 对 于 具有 公共 定义 域 
的 情况 ， 假 设 未 知 参数 取 有 限 个 值 。 
定理 9-2 设 fx(=z; 0) 是 和 的 pdf， 参 数 为 名， 有 了 一 1,…,M 个 可 能 的 值 ， 则 pdf 
族 具 有 公共 定义 域 。 以 下 统计 量 是 最 小 充分 的 : 
x(xX;0, x(x;0u) 
les ore 8 TS ] RE 
TERA: 对 充分 统计 量 工 ， 由 因 式 分 解 可 知 fx (x; 0) =gG; Dh), 其 中 g(t; ORM t 
与 样本 相关 。 因 为 h(x) 不 是 9 的 函数 ， 我 们 得 到 以 下 比值 ， 对 oA, RMA t SRAM: 
fx(x;0;) _ g(t;0,) (9-32) 
fx(x;i) g(t;0.) 
由 于 人 包括 了 所 有 有 限 数目 参数 值 的 可 能 的 比值 ， 并 且 是 工 的 函数 ， 它 必定 是 最 小 
充分 的 。 
通常 ， 我 们 只 需 检查 一 个 9 值 的 比值 即 可 。 具 体 需 要 的 比值 数 由 作为 9 的 函数 的 联合 
pdf 的 平滑 程度 决定 。 这 个 过 程 也 可 扩展 运用 到 可 数 无 穷 个 9， 但 对 于 不 可 数 个 9， 则 要 复 
杂 的 多 ， 因 为 要 考虑 测度 论 了 。 
RI 考虑 参数 O=A 的 指数 pdf， 参 数 取 有 限 个 值 ， 包 括 A1 二 1。 由 定理 9-2， 则 以 
下 比值 是 最 小 充分 的 : 


N 
[aexp( 一 iz,)Ico=， (x,) AX exp(—a >) 2.) 
a=1 





= —— Y= = àMexp[ — aQ - DX ) (9-33) 


N 
[| exp- Bnd l ojo (Tad exp(— I=) 
n=1 n=1 
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它 与 样本 均值 T=X StH. 
另 一 种 找 具 有 公共 定义 域 的 随机 变量 的 最 小 充分 统计 量 的 方法 ， 包 括 两 个 不 同 的 N 
个 样本 集 ， 我 们 不 作证 明 的 给 出 。 
定理 9-3 RX Z pdf A fx (z; 0) 的 一 个 随机 变量 的 jid 样本 ,YY 为 由 同样 分 布 得 到 的 
任意 其 他 iid 的 样本 集 。 工 是 0 最 小 充分 量 ， 如 果 比 值 
fx(x;0) — AG) gt, ;0) 
fx(y;30) hl(y)g(t,;0) 





(9-34) 


SARS Tx=Ty 时 与 9 独立 。 
Tx, Ty 下 标 表示 统计 量 中 用 到 的 样本 。 注 意 式 (9-32) 中 参数 不 同 ， 而 式 (9-34) 中 样 
本 不 同 。 


例 9 





DUH 9-10 的 条 件 ， 我 们 得 到 : 


一 -一 一 全 一 一 exp( 一 ER (9-35) 
ANexp(—A yn) 25 


N 
显然 ， 当 且 仅 当 两 个 求 和 项 相等 时 ， 这 个 比值 独立 于 A; T= XX, 是 9 二 4 的 最 小 


充分 统计 量 。 < 
对 无 公共 定义 域 的 随机 变量 ， epi es tea gil 一 个 思路 : 由 于 9 
在 变化 ， 需 从 g(t; 9) 中 “捕捉 ”充分 统计 量 T. ES 9-3 描述 了 函数 ett; 0) 与 0 的 对 应 关系 ， 
所 有 不 连续 的 位 置 也 都 进行 了 标注 。 最 小 充分 统计 量 与 样本 对 应 ， 样 本 中 有 不 连续 发 生 。 
g(t:0) 
1 


不 连续 是 因为 
Xim—1/2 和 Xiy+1/2 
FR AA Xi) Xing ER 
小 充分 的 


宽度 =1 







X(1) +1/2 = 


X1) XN) 6 


93 对 xz) 一 Jro-uzorty2(CZz) 的 “捕捉 ? 技 术 显示 T=[X% . X. J" 是 最 小 充分 的 。 


(注意 到 纵 轴 上 的 “ 断 续 ” 线 是 为 了 保持 图 形 的 紧凑 ) 
D 对 于 之 前 的 均匀 分 布 ， 我 们 重复 运用 因 式 分 解 : 


fx (x) = Irei, o3 (Zo ) [pe-12,041/23 (Zes ) (9-36) 
观察 到 指示 函数 可 重新 写成 86 表示 的 形式 ， 如 下 所 示 : : 
kal nh Ghd re Ë: ee < 0+ 1⁄2 (9-37) 
尽管 有 可 能 用 以 上 的 形式 来 确定 最 小 充分 量 ,， HWRHEY-HUFEtO, warg 
易 些 。 这 可 由 指示 函数 的 以 下 特性 看 出 : 





Tre_12,0+1/2] (z) = Tpe-1/2,00] (z) [r _— a (z) (9-38) 
其 中 式 子 左边 的 封闭 间隔 是 式 子 右 边 两 个 半 封 闭 间隔 的 交集 。 对 这 个 问题 : 
Teo-sy2.e41/2) (Zo ) Ite172.04172) (Zes ) = Tro-1/2.00) (za ) I _— 4723 (Zes ) (9-39) 
由 此 我 们 得 到 g(t; 0)=1, 3 
0 — 1/2 < z=a;>0 < za, + 1/2 (9-40) 
zm < 0 + 1/2>0 > xy) — 1/2 (9-41) 


作为 6 的 函数 ，g(t; 0) 的 非 零 范围 在 图 9-3 中 说 明了 ， 不 连续 发 生 在 ren) 一 1/2 和 
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Bay +1/2 a. 因此 ， T=[X.; Aw]? 对 于 0 不 仅仅 是 充分 的 还 是 最 小 充分 的 。 < 
9.5 指数 族 


本 节 ， 我 们 考虑 随机 变量 的 指数 族 ， 对 这 种 情况 低 维 的 充分 统计 量 很 容易 找到 。 
定义 (指数 族 ) 具有 标量 参数 0 的 随机 变量 的 一 个 指数 族 具 有 可 表示 为 如 下 形式 的 pdf: 
fx (x) = a(0)exp(b(0)c(z))d(>) (9-42) 
其 中 a(b)，pb(0) ，c(Cz) 和 cd(z) 是 已 知 函 数 。 它 被 称 作 随机 变量 族 是 因为 上 式 的 形式 在 0 变 
化 时 是 相同 的 。 对 于 N 个 iid 随机 变量 {X,}， 式 (9-42) 变 为 : 


fx(x) = aN (Bexp( 600) ez,)) l eso (9-43) 
对 于 MARA EO 全 [01…,0w]" 以 及 一 个 单一 的 随机 变量 ，pdf A: 
fx (z) = a(0)exp[ SM (Oe (x) da) (9-44) 
对 N 个 iid MAL EAA M 个 参数 ， 式 (9-44) 变 为 
fx (x) = aN (0)exp[Í 2.0 2) [laa (9-45) 


不 要 将 随机 变量 的 指数 族 与 第 3 章 中 描述 的 指数 分 布 混 消 ( 它 本 身 是 一 个 指数 族 ) 。 以 
下 将 证 明 一 个 指数 族 的 pdf 可 被 重 置 (有 时 是 用 一 种 不 明显 的 方式 ) 来 得 到 上 式 指数 项 的 形 
式 中 的 一 种 。 及 管 一 个 Bdf 可 能 包括 多 个 参数 ， 指 数 形式 特 指 我 们 感 兴 趣 的 标量 参数 0 或 
向 量 参数 9; 为 实现 估计 ，pdf 的 其 他 参数 假设 都 是 已 知 的 (固定 的 )。 例 如 ， 对 于 高 斯 分 
A, 我 们 可 能 只 对 均值 jy 感 兴趣 ， 则 假设 标准 差 o 是 已 知 的 。 


由 因 式 分 解 定理 ， 
| fx (x) = A(x) g(t30) (9-46) 
其 中 g(t; 9) 只 通过 统计 量 £ Ej x 相关 。 将 此 式 与 式 (9-43) 比 较 ， 我 们 得 到 
N N 
g(130) = aN(0)exp[b(0) >)e(z,)) A(x) = [| dC) (9-47) 
因此 ， 充 分 统计 量 为 : z 
T = Y1e(X,) (9-48) 


对 以 下 指数 族 的 每 一 个 随机 变量 都 可 以 得 到 这 个 表达 式 ; 尽管 我 们 只 对 N= 1 的 样本 的 
指数 形式 进行 说 明 ， 对 六 个 样本 的 形式 很 容易 由 式 (9-43) 确 定 ， 稍 后 会 在 表 9-2 中 总 结 。 


表 9-2 指数 族 的 最 小 充分 统计 量 
分 布 族 {参数 0) 
Hda MBA, BAr} 
BM la, 已 知 o}， 泊 松 {a} 
伯 努 利 {p}， 二 项 式 {p}， 几 何 {p} 
MZFA, 已 知 N) 














N N T 

[Ix ax | 贝塔 (asp) 
n=1 n=1 

N 

TES 卡 方 

n=1 
N N T 

[>x | 高 斯 {puso} 
=! n=1 
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o 0 一 1 的 指数 分 布 : 





fx (=) =Aexp(— Ar) Ito. (z) (9-49) 
=a(0) =A, 0(0) =—A, cele) = =, d(x) = Ip (z) (9-50) 
o 0 一 1) 的 伽 马 分 布 ( 已 知 7): 
fx (z) = Z exp(— Ae) oe) (2) (9-51) 
=a(0) = eae (0) =—A, cx) =z, d(x) =x >To. (x) (9-52) 
T(r) 
e= (a, By as WH: 
1 
fx z) k =r Troa Cz) 
= gepla- 1)InCx) + (8B— DInQ — x) JI. (x) (9-53) 
a= s are sath ees ë 
=a(0) = BaD’ b (0) =a—1, 6b,(0) = B—1 (9-54) 
ci (z) =I]n(xz),c, (=) = In(1 — z) ,d(x) = Itu. (z) (9-55) 
e =N 的 卡 方 分 布 : 
N/2—1 
fx (z) = = zea >P D s, (z) 
= expt 2/2) Tro (z) (9-56) 
yet dink 2 £ w z 3 
=>a (0) = TCN/2)’ (0) = N/2—1, c(x) = In(x) (9-57) 
d(x) =exp(— 2/2) Iti. (x) (9-58) 
@ 0 一 {1，o) 的 高 斯 分 布 : 
1 
xe) = exp(— Cx — u) 126") Fhe Ke) 
š V 2x0" e j 
eG 2 
= RS [BEY (= 292 ee) Limon coy ED (9-59) 
2x0” 
salg) = PEL /20), a, = # 9-60 
a(@) Jona? b, (0) 2 b, (0) z? ( ) 
cm) ox) =z, dx) Fm) (9-61) 
@ 0 一 a 的 瑞 利 分 布 : 
jx (z) = (z/a° )exp(— z2 /2a) Ito (z) (9-62) 


=a(0) = 1/a2,b(0) =—1/2e, c(z) = 22, d(x) = alton) Cr) (9-63) 
© 0 二 a 的 拉 普 拉 斯 分 布 (已 知 p=0): 
fx (z) =(1/2a)exp(— |x| /od To,0) (z) (9-64) 
=>a(0) =1/2a, DORE anretz) = |z]; d(x) = Ic. Cay (9-65) 
@ 0 二 a 的 泊 松 分 布 : 
pxlx] =(1/z!)exp(—a)a'I e [z] 
=(1/z!)exp(—a)exp(=zln(a))I;- [zx] (9-66) 
=>a(0) = exp(—a), bO) = Inla), ca) = x, d(x) = GQ/r=x!)Iz= [=] (9-67) 
e= p 的 几何 分 布 : 
px[z] = pq*'l> [z] = pexp(zln(q))1zt [r] (9-68) 
==2(0b bn bhaga clr) = x.  dlzy= Le Kz] (9-69) 
o 0 一 旋 的 二 项 式 分 布 (已 知 N): 
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N 
pxl] =( aT ons aLa = = m Ja” exp(aln( p/q)) Lo., ,N) [x] (9-70) 


N 
二 d(x) = (7 Jaa. la] (9-71) 


即使 二 项 式 概 率 质量 函数 (pmf) 有 两 个 参数 p 和 gq， 它 仍 是 一 个 单 参数 分 布 ， 因 为 g 会 
1 一 p。 稍 后 例 9-14 中 讨论 的 多 项 式 分 布 也 有 类 似 的 约束 ,我们 写 的 是 M 个 参数 ， 但 实际 
只 有 M 一 1 个 参数 。 

e 0 一 方 的 伯 努 利 分 布 (N=]1 的 二 项 式 ): 

pxla] =p Tw [z] = gexp(aln(p/q)) Ia ay Lr] (9-72) 
=a) = q, 566) = lip/ ikea) = y, de) = Tas [z] 09-73) 
e 0=p 的 负 二 项 式 分 布 (已 知 N) : 


N=] 1 
— p \pXq*le [z] = )pYexp(zln(q)) Izt [=], (9-74) 


px[z] = ka; x 


>a = p", 6) = I(q)y cx) =z, d(x) = 


由 于 指数 族 具 有 与 式 (9-47) 的 因 式 分 解 定理 匹配 的 形式 ， 对 每 个 上 文中 提 到 族 的 最 小 
充分 统计 量 非常 容易 确认 。 表 9-2 中 进行 了 总 结 。 
ace 贝塔 分 布 的 联合 pdf 为 


(U mt (9-75) 





fx G) -Ere po -D $ina) +- DX hA a, )) 


N 
© TI Loan (x, (9-76) 


n=1 


由 于 
Sie) = (Ila), dyna = 2.) = (I (1—z,)) (9-77) 
Rl @=La, pl" 的 最 小 充分 统计 量 为 3 
= [Mx Ta- xo] (9-78) < 


JUERD 多 项 式 的 pdf 要 写成 指数 族 的 形式 在 某 种 程度 上 要 更 复杂 些 ， 因 为 参数 并 不 
都 是 独立 的 ， 因 此 它 会 被 作为 一 个 单独 的 例子 。 设 (Xi, ,Xm} 为 参数 (概率 ) 为 {piss 


bu) 的 M 个 样本 。 对 已 知 的 M， 得 到 》)xi 二 N ， 多 项 式 的 pdf 为 





Mi s x. M 
fue (1 ot) =N! [S E To anim z.) Ia yz) 
m=] “ms - t=] 
M 
=Ntexp( Sx, In(p..) 
m=1 


M 1 M 
. II = Loa (x Ti zr) (9-79) 
ms i=) 


M 
由 于 D pn = 1, 所 以 只 有 JM 一 1 个 独立 的 参数 ; 因此 ， 可 以 很 方便 地 将 参数 向 量 写 为 
M M 
时 的 特例 )。 加 或 减 >) x, In(p,) 到 exp(。) 的 指数 项 中 ， 代 入 约束 Diz, = N 则 得 到 : 
m=2 m=] 





3 
I 
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M M 
exp[ Nin(p:) + Dznln(pn/p1)) =exp(— Nna + >) pn/p1)) 
m=2 


m=2 


M 
。 exp( >) tnln(pn/ Pi) ) (9-80) 


m=2 


其 中 我 们 已 做 了 替换 


1/p = Xe. =1+ p/p (9-81) 


在 等 号 右边 的 第 一 一 个 指数 项 中 将 Imp.) 5 R eA Bil pi Ë …,pPm/pP1} 的 形式 。 指 数 族 形式 
具有 分 量 : 


M 


a(@) =Nlexp(— Nln(1+ >) pn/pi) ) b, (O) = In(pa/pi) (9-82) 


m=2 





M M 
Caki kas STD =2, rd (t o*m) — Jf 一 Pes. m (tm) Tem ( >) 21) (9-83) < 
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随机 变量 的 位 置 -比例 族 的 pdf 在 它 的 位 置 或 比例 参数 变化 时 仍 保持 它 的 基本 形状 。 
定义 (位 置 -比例 族 )” 设 较为 一 个 随机 变量 ，cdf A Fyle), Ht KRMY=X+u 可 得 
到 一 个 位 置 族 ， 其 中 wxE 人 及 。 它 的 分 布 具有 以 下 形式 


Fy(y) = Fx(y —u) (9-84) 
iñ it KH Y= X 可 得 到 一 个 比例 族 ， 其 中 >0。 它 的 分 布 具有 如 下 形式 ， 
Fy(y) = Fx(y/v) (9-85) 
将 两 个 变换 组 合 为 Y 二 wu 十 vX， 得 到 一 个 位 置 -比例 族 ， 它 的 分 布 形式 为 : 
Fy(y) = Fx((y— w/v) (9-86) 
pdf 为 i 
fy(y) = (1/%)fx((y — u)/v) (9-87) 


其 中 ,fx(Gz) 是 在 变换 成 了 之 前 X 的 pdf。 

K 9-3 提供 了 几 个 位 置 一 比例 族 的 最 小 充分 统计 量 。 位 置 -比例 族 有 两 个 参数 ， 包 括 
以 下 的 随机 变量 。 对 每 一 种 情况 ， 我们 都 可 以 通过 变换 Y==w 十 vX 来 分 析 位 置 -比例 族 的 
特性 ， 并 且 证 明 fy(y)=(1/o)fz=((y—u)/u)5j fx(z) 具 有 相同 的 形式 。 


表 9-3 位置 -比例 族 的 最 小 充分 统计 量 
分 布 族 (参数 0) 




























[Xas ves Xen Jt Hc, 已 知 a)， 拉 普 拉 斯 {j, 已 知 a}， 符 号 逻辑 {jy， BA a 
Xo 偏 移 指 数 {c， GAA}, Hia, 已 知 b} 
N 
[Xa xa" 偏 移 指数 {c，X} 
n=1 
[Xas Xn) ]™ 均匀 {a， b) 
X. H5 (b, BR a} 
N N 
[2 x.5;xs |” 高 斯 {jo} 
n=1 n=1 


e 0 一 (六 ，oc} 的 高 斯 分 布 ; 





1 2 
fy Gy) = exp(— (Cy — u)/u— u)? /20* )T ,00 Cy) 
V2nv o 
1 2 2 
=— —e=xp(— (y — u — tu)” /2. C00)? ) Io, Cy) (9-88) 
V2n(vo)” | 
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之 人 参数 为 {x 十 zw，zc)} 的 高 斯 分 布 。 
e 0 二 {a， 4b) 的 均匀 分 布 : 


iGo g giao- TAES glitas O) (9-89) 


v 
入 参数 为 {u 十 va，t 十 w} 的 均匀 分 布 。 
e 0 二 {c，Q} 的 柯 西 分 布 : 
a/ UT va / Tx 
a ne od rae eee E —— Pa a ca 
(9-90) 
之 参数 为 {x 十 vc ，va}) 的 柯 西 分 布 。 
© 0= {ps Q}) 的 拉 普 拉 斯 分 布 : 
fy(y) =(1/2va)exp(— |(y— w/v—p|/a) Te, (y) 
=(1/2va)exp(— |y — u — uu | /ua )I C... Cy) (9-91) 
之 人 参数 为 {x 十 zc va) 的 拉 普 拉 斯 分 布 。 
© 0={u, a} Logistic 分 布 
exp(— (Cy — u)/v— p)/a) 
fy (y) 了 
exp(— (y—u— U 
“Fall Fem GS gfe? San 
>BRA (ut vp, va} h Logistic 分 布 。 
e 0 一 {c，4) 的 偏 移 指 数 分 布 : 
fy(y) = Q/u)exp(— àC ly — u)/u— c))I,..; (Cy — w/v) 
= (A/v)exp(— (A/u)(y— u — uc)) I. Cy) (9-93) 
>Z luc, A/V) mE tM. 
e 0={a, b), N&b—a+1 的 离散 均匀 分 布 
pyLy] = A/No) Iq, u LG — a) fo] = CL Nv) Tite et [Ly (9-94) 
=>N=(utvb)—(utva) +1=v(b—-a) +1, BRMiutva, utvd 的 离散 均匀 分 布 
(假设 选择 合适 的 x 和 ww， 使 参数 为 整数 )，。 
6 一 {w，c)} 的 高 斯 随机 变量 既是 指数 族 又 是 位 置 -比例 族 。 但 是 ， 这 是 例外 ， 因 为 绝 大 
多 数位 置 -比例 族 不 能 被 写成 式 (9-42) 的 指数 形式 。 例 如 ， 通 过 扩展 指数 pdf 包含 了 移 位 参 
数 c 后 ， 它 就 不 再 是 一 个 指数 族 了 ，。 
考虑 N 个 a 二 1 的 柯 西 分 布 的 iid 样本 ， 得 到 联合 pdf; 
fx(x) = wll wami ee) (9-95) 
看 起 来 不 可 能 通过 简化 这 个 表达 式 来 得 到 0 二 c 的 维度 小 于 NN 的 充分 统计 量 。 经 常会 
出 现 这 种 结果 (但 也 不 总 是 这 样 )， 上 顺序 统计 量 是 位 置 -比例 族 的 位 置 参数 的 最 小 充分 统计 
量 ， 就 如 我 们 现在 证 明 的 柯 西 分 布 的 情况 。 考 虑 另 一 个 样本 集 y， 得 到 式 (9-34) 的 比例 
KAR: 


s eo) (y) 





fx(x;c) _ a (y, —c)° l ` ` ë” — Puya + yu 5 
f<Gy;c) H =A I ce —2er, tay See) 
对 乘积 项 中 的 每 一 个 二 次 项 ， 设 分 子 的 根 为 c= y,+j, PEARA c=x,+j, #Fj= 
“4 Lig 则 : 
falx) _ TT (c—y, — j) (c— y, +j) , 
Geo, 1 papa hea So CHATA 
如 果 和 忽略 式 子 相 乘 的 顺序 ， 乘积 项 是 相同 的 ， 所 以 使 比例 式 与 c 独立 的 唯一 方法 是 分 
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子 式 的 根 与 分 母 式 的 根 排序 相同 。 这 意味 着 分 子 和 分 母 必须 有 相同 的 顺序 统计 量 ， 因 此 
T= 二 [Xa,,…,Xuwj 是 柯 西 分 布 的 c 的 最 小 充分 量 。 习 题 9-8 中 证 明了 当 均 值 jy 是 待 估 参 
量 时 ， 顺 序 统计 量 同样 也 是 拉 普 拉 斯 分 布 的 最 小 充分 量 。 < 
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尽管 T=[Xa,，Xw]" 是 例 9-12 中 均匀 分 布 的 0 的 最 小 充分 量 ， 它 们 所 包含 的 0 的 
信息 与 初始 样本 一 样 多 ， 但 他 们 也 包括 一 些 与 估计 0 无 关 的 信息 。 这 些 无 关 信息 被 称 做 从 
属 项 ， 一 个 最 小 充分 统计 量 的 任何 从 属 分 量 被 称 为 从 属 统计 量 。 一 个 不 含 从属 分 量 的 最 小 
充分 统计 量 被 称 为 一 个 完备 最 小 充分 统计 量 。 我 们 给 出 一 个 从 属 统 计量 的 两 个 定义 。 

定义 (从 属 统计 量 ) ”如 果 统 计量 V 的 分 布 独立 于 0， 则 其 为 从 属 的 。 

从 属 统计 量 不 包括 参数 8 的 任何 信息 。 这 与 充分 统计 量 的 特性 有 本 质 上 的 区 别 ， 充 分 
统计 量 包含 的 关于 9 的 信息 与 初始 样本 一 样 。 

定义 (一 阶 从 属 统计 量 ) ”统计 量 V 是 一 阶 从 属 的 ， 如 果 e[V| 与 9 独立 。 

一 个 从 属 统计 量 也 是 一 阶 从 属 的 : 如 果 它 的 分 布 独立 于 9， 则 它 的 期 望 值 不 依赖 
Tag 

Mt 344] pdf fx (z) = Itmi. o (z), 观察 到 统计 量 V= 二 Xp 一 Xiy 是 一 阶 从 
属 的， 因为 它 的 均值 与 9 无 关 : 

: 2 N 一 1 

E[Xim ] = I el Re (9-98) 
其 中 用 到 了 式 (9-29) 和 式 (9-30) 。 我 们 已 能 找到 一 个 最 小 充分 统计 量 的 函数 ， 它 是 一 阶 从 
属 的 。 注 意 到 (| )V 与 pdf 的 宽度 相关 ( 它 独立 于 0); (ii) 上 式 的 期 望 值 渐 进 趋 于 1， 

接 下 来 的 定义 指 的 是 这 样 一 类 统计 量 ， 它 不 包括 0 的 从 属 信息 。 

定义 (完备 统计 量 ) ”统计 量 丁 是 完备 的 ， 如 果 对 每 个 函数 c(。) 有 : 

E[c(T)] = 0( 对 所 有 的 0) (9-99) 
意味 着 : 
P(c(T) = 0) = 1( 对 所 有 的 0) (9-100) 

一 个 完备 统计 量 有 可 能 不 包括 9 的 信息 。 因 此 ,我 们 感 兴趣 的 是 一 个 统计 量 ， 它 即 是 
充分 的 ， 又 是 完备 的 ， 这 样 它 就 不 会 丢失 任何 关于 9 的 信息 ， 也 不 会 有 无 关 分 量 。 接 下 来 
的 定理 将 证 明 一 个 完备 充分 统计 量 没有 从 属 分 量 。 

定理 9-4(Basu) ATAO 的 一 个 完备 充分 统计 量 。 任 意 从 属 统计 量 V 与 独立 。 

WEAR: 我 们 要 证 明 P(V<v|T=)=P(V<v), HT V EM RM, PVS) =F (w) 
与 60 无关。 定义 以 下 条 件 概率 : 

g(t) ARN < ul F =+) (9-101) 
它 是 1 的 函数 ， 得 到 它 的 均值 为 : ; 
Ele] = | PW oT = Dfr d= PV <) (9-102) 
将 Fy(v) 代 入 式 (9-102) 左 边 得 到 : 
g[g(T)— Fy(v)] = 0=P(g(T)— Fy(v) = 0) = 1>P(g(T) = Fy(v)) = 1 
(9-103) 
由 于 工 是 完备 的 。 完 备 性 定义 中 的 函数 此 时 对 应 为 <(T) =g(T) 一 Fv(o)。 最 后 的 结果 意 
味 着 对 于 所 有 t MAO, PVSv T= =F ERA 1, ERASE. 

W {Xoe Xn) 为 iid 高 斯 随机 变量 ， 参 数 为 (1,o = 1}。 习题 9-10 中 证 明了 
样本 均值 T 一 入 是 /的 一 个 完备 充分 统计 量 。 习 题 4-35 证 明了 (CN 一 1)S?/o: 具有 卡 方 分 
H, 参数 为 N 一 1， 其 中 S 为 样本 方差 。 由 于 V 王 S: 的 分 布 不 依赖 于 jw， 它 是 从 属 统计 
E, H Basu 定理 ， 对 高 斯 分 布 而 言 ， 样 本 均值 和 方差 是 独立 的 。 < 
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I 考虑 一 个 在 [a,9] 上 均匀 分 布 的 随机 变量 ,0 是 独立 参数 ，a 已 知 ，0>a。 对 
wl ta.) (Zes ) (9-104) 


ey ce P 
Tp Ge 


从 中 可 看 出 Xcom 对 0 是 最 小 充分 的 ， 因 为 它 是 一 维 的 。 而 且 ， 它 是 一 个 完备 充分 统计 量 ， 
接 下 来 将 证 明 这 一 点 。 由 定义 ， 我 们 先 计 算 以 下 期 望 值 ; 








AAVA N|- tarry Ape (9-105) 
对 均匀 pdf A: | 
i By Grey s= =|. Train adz = 28.9 (2) (9-106) 
将 pdf 和 cdf 代入 得 到 : 
éle(Xim)] = aa GG a) dz (9-107) 
将 此 结果 置 0， 消 去 积分 项 前 的 常数 , -对 0 微分 得 到 : 
c(@)(@—a)*! =0 (9-108) 
它 对 所 有 >a 的 值 都 必须 成 立 ， 这 意味 着 几乎 对 所 有 0 值 ， 函 数 依 概 率 1 满足 c(0)=0., 
则 对 任意 有 限 值 a4a，Xw) 是 9 的 一 个 完备 最 小 充分 统计 量 。 < 
设 {Xis Xn} 是 iid 伯 努 利 分 布 ， 参数 为 p: 
Re pg BT] kota] (9-109) 


由 表 9-2， 我 们 知道 荆 二 DIX, E p 的 最 小 充分 统计 量 。 工 的 分 布 为 二 项 式 ， 参 数 为 
(N,p) MI 
N 
E[c(T)] = Dew (^) = c(0)q" 十 c(1D)Npgxr 十 … 十 cCN)PY (9-110) 


n=0 


AA p 和 g 的 指数 项 在 求 和 式 中 的 各 项 都 不 同 ， 上 式 对 所 有 pp 都 为 0 的 唯一 办 法 是 对 
所 有 nn 有 cln) 二 0。 因 此 ， 醋 也 是 完备 的 。 < 

9.8 节 的 目标 是 要 用 一 个 充分 统计 量 的 完备 性 得 到 一 个 最 优 估计 器 ， 它 不 仅 要 是 无 偏 
的 ， 还 是 所 有 无 偏 估计 器 中 方差 最 小 的 。 它 被 称 为 一 致 最 小 方差 无 偏 (UMVU) 估 计 器 。 

定义 (UMVU 估计 器 ) 基于 NN 个 iid 样本 (XI, Xs) HER OH UMVU 估计 器 
Tuwvu 具 有 如 下 特性 : 

© 无 偏 性 。E[L Tumvu ]=0 

@ 最 小 方差 。 对 任意 其 他 0 的 无 偏 估 计 器 了 满足 varLTuwvo] 委 var[T]。 

在 开始 介绍 如 何 运 用 完备 性 来 产生 这 样 一 个 估计 器 之 前 ， 我 们 先 介绍 一 个 生成 较 低 方 
差 的 估计 器 的 方法 。 


9.8” 拉 奥 -布莱克 维尔 定理 


拉 奥 -布莱克 维尔 (RB) 定 理 描述 了 一 种 改进 相对 较 差 的 9 的 估计 器 ， 它 通常 是 直接 去 
找 使 其 具有 更 低 方差 的 方法 。 为 了 证 明 这 个 定理 ,我 们 需要 附录 FF 中 的 杰 森 不 等 式 : 
g(ELX]) < E[g(X)] (9-111) 
其 中 X 是 一 个 定义 在 开 区 间 上 的 随机 变量 ，cdf 为 Fy (a). g(z)E: — F ORR B). 
尽管 拉 奥 -布莱克 维尔 定理 可 用 于 任意 凸 函数 ， 就 如 用 在 杰 森 不 等 式 中 ,但 我 们 仍 给 出 其 
用 于 估计 器 方差 的 定理 。 
定理 9-5( 拉 奥 - 布 莱克 维尔 定理 ) To Thh 是 一 个 统计 量 集合 ， 它 们 对 参数 0 
的 函数 c(0) 是 联合 充分 的 。 定 义 另 一 个 统计 量 了 ， 它 是 c(0) 的 无 偏 估计 器 。 则 统计 量 
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Ta 会 EL[TIT,,…,T,] 具有 如 下 特性 。 
° ELT pe J {T, ye, Ey} 的 一 个 函数 ， 因此 是 充分 的 。 
e E[ Trs | 二 cl(0)， 因 此 Trs 是 c(0) 的 无 偏 估计 器 。 
e 对 所 有 2 有 var[ Tr, ]|<<var[ T]. 
e 对 某 些 9，var[ Tks ]<var[T], BRT 4 Tes 和 工 依 概率 1 相等 。 
证 明 : 前 两 个 性 质 由 条 件 期 望 的 定义 得 到 。 第 三 个 和 第 四 个 性 质 由 杰 森 不 等 式 推导 得 
RES g(z2)=[=x=—c(0)]°, BW 
(ELT |T, = b,=- T, = te] =E < ELT =A | Ty = th T, = ted 
; (9-112) 
式 (9-112) 左 边 包 括 了 写成 特定 值 (tote) 函数 的 Tea， 式 (9-112) 右 边 是 对 应 特定 
条 件 {ti ,… ,tp} 的 初始 无 偏 估 计 器 工 的 条 件 方差 。 两 边 同 时 在 条 件 作 用 的 变量 上 取 期 望 
值 ， 得 到 
£[(g[T|[T, 三 看 2 了 一 5 的 关 ] =ELC Tas = c(6))? ] = varl TE] 
< ELELCT — AOF ITE =n te) 
=var| T] (9-113) 
不 等 式 的 左边 是 Trs 的 方差 ， AWA ARE CLS 5 章 ) 简 化 为 工 的 方差 。 正 
如 在 杰 森 不 等 式 证 明 ( 见 附录 ) 中 所 述 ， 因 为 方差 是 严格 点 的 ， 上 式 是 严格 不 等 的 ， 除 非 依 
概率 1 有 ELTIT， re 下 = Tre 成 立 。 
MD 设 (Xi... . Xs) 是 iid 指 数 随 机 变量 ， 参 数 9 二 4。 假设 我 们 对 一 个 估计 器 感 
兴趣 ， 它 估计 的 是 : í 
c(A) = p(X > xm) = 1 — Fla) = exp(— Aro) (9-114) 
HH a >0,. ERAWR-HREBREBFEZARDE:s (i ) 一 个 对 4 充分 的 统计 量 ; 


Ci) 一 个 ch) 的 无 偏 估计 器 ， 它 不 必 是 充分 的 。 由 例 9-4， 我 们 得 到 T 一 X, ta 是 充 


分 的 。 考 虑 以 下 估计 器 TH L... (CX:)， 由 指示 函数 的 特性 得 到 它 是 一 个 <cGA) 的 无 偏 估 
计 器 : 


到 


- 





ELT] ella X lmu (9-115) 
直观 感觉 工 是 一 个 较 差 的 估计 器 (尽管 它 是 无 偏 的 )， 因 为 它 只 依赖 于 一 个 样本 ， 而 我 
们 知道 基于 所 有 N 个 样本 的 T: 是 充分 的 。 为 了 找到 Trs 二 ELT|IT1,]， 利 用 {X,} 是 独立 的 
特性 推导 得 到 条 件 pdf fx |; Ga ln) F: 
P(X, =< zu Ty St) = P(W ss: zs |, fyri Sh — 7X) 
=P(X, < 2,)P(T, — Xy St — x) 


N ` 
=P(X, Se) Pld, XS n — m) (9-116) 
n=2 


HH nr. YEME HA-A EI ME E AAR, 4364 4 # 3 < E 
分 ， 得 到 需要 的 联合 pdf: 

fat, (ai ti) = fx, Ip. C2 fr, — 21 Ip, (n) (9-117) 
其 中 T,AT,—X, 为 埃 尔 朗 分 布 ， 参 数 为 {A,， r=N—1), HHEZN—-1% iid 指数 随机 
变量 的 和 。 因 此 


fxr, (21 h) =Aexp(— àz: ) Ito.) (a1) 


AN 
(Nə — 25 )N exp(— Ate — 24 Ite, easy CD 
N 


~ (N—2)! 
Ti 的 边缘 pdf 可 通过 对 zi Æ [0t] 上 积分 得 到 : 


(tı 一 ZJN exp(— 14) Ito, (xy ) Itz, ,=) (tr) (9-118) 
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N 
fr G) = CR i exp (= ats 16. (h) (9-119) 


由 比值 Ix, n ers t) / fr, (ti ) 得 到 条 件 pdf; 
fx, | 7, (z, |t) = (N= Te, =A) n l(a (9-120) 
则 需要 的 期 望 值 为 : 


上 N—1 
#LT0 o eE FS A S beras ,| [G — 2)? /tJdz, = (Aas +e) EHC) 
Xo 1 K 











(9-121) 
由 此 得 到 以 下 的 改进 的 对 c(4) 二 exp( 一 Axo) 的 估计 器 : 
XUE = x = Xo l 
Tre = | = ë yx (9-122) < 
>x, n=l š 


9.9 Seok SH SE 3 


9. 8 节 中 描述 的 变换 并 不 必然 产生 UM VU 估计 器 。 它 只 保证 了 改进 的 估计 器 的 方差 
不 会 超过 初始 统计 量 T 的 方差 。 本 节 的 定理 将 描述 如 何 得 到 UMVU 估计 器 。 我 们 首先 给 
出 一 个 关于 估计 器 的 唯一 性 的 结论 。 

定理 9-6 设 工 为 0 的 一 个 完备 充分 统计 量 。 如 果 存 在 一 个 c(0) 的 无 偏 估计 g(T)， 则 
估计 器 是 唯一 的 。 

证 明 : 定理 是 用 反 证 法 来 证 明 的 。 考 虑 男 一 个 无 偏 估计 器 h(T)，E[h(T)]==c(0), È 
依 概率 与 g(T) 不 同 : POA(T)—g(T)40)>0. FR MA TT aE ABE TC ie 1 : 

ELAT) — g(T)] = 0 (9-123) 
这 意味 着 ACT)—g(T)=0, AA TETEK., i Ri PCA(T)—g(T)40)>0 FA, 
所 以 h(T) 一 定 与 g(T) 相 同 ， 这 意味 着 g(T) 是 唯一 的 。 

定理 9-7 给 出 一 个 估计 器 的 以 下 特性 : 充分 性 、 完 备 性 、 无 偏 性 和 最 小 方差 。 

定理 9-7( 莱 赫 曼 -斯 莫非 ) 设 开 是 0 的 一 个 完备 充分 统计 量 。 如 果 E[Lg(T)]=c(0)， 
其 中 g(。) 和 c(。) 是 实 函 数 ， 则 g(T) 是 c(0) 的 UMVU 估计 器 。 

证 明 : 设 ACK) COMER TA HiT es. HEM 9-6， 我 们 得 到 : 

E(h(X) |T] = g(T) (9-124) 
是 c(9) 唯 一 的 无 偏 估计 器 。 而 且 ， 由 拉 奥 -布莱克 维尔 定理 ，g(T) 的 方差 不 可 能 超过 h(X) 
的 方差 ， 因此 g(T) 是 UMVU 估计 器 。 
这 个 定理 以 及 它 的 证 明 提 供 了 两 种 不 同 的 推导 UMVU 估计 器 的 方法 : 
e 无 偏 性 。 找 到 0 的 一 个 完备 充分 统计 量 T, RARELe(D)]=c(O, 得 到 函数 
8(。)。 回 顾 一 个 估计 器 仅 是 样本 的 一 个 特定 函数 。 
e 条 件 作 用 。 找 到 9 的 一 个 完备 充分 统计 量 T; 以 及 c(6) 的 一 个 无 偏 估计 器 了。 计算 
条 件 期 望 ELTIT, ]， 它 也 是 样本 的 一 个 特定 函数 。 

这 两 种 方法 都 需要 一 个 9 的 完备 充分 统计 量 。 第 一 种 方法 的 目标 是 处 理 ELg(T)] 的 方 
程 来 找到 g(。) 的 表达 式 。 第 二 种 方法 与 拉 奥 -布莱克 维尔 定理 描述 的 基本 相同 ， 除 了 此 
处 的 充分 统计 量 T, 必须 是 完备 的 ; 由 于 条 件 期 望 是 T, 的 函数 ， 由 定理 9-6， 它 提供 了 唯 
一 的 UMVU 估计 器 。 


设 {X,} 是 iid 伯 努 利 随机 变量 ， 参 数 9 二 p, T = VX, 是 它 的 一 个 完备 充分 


统计 量 ( 见 例 9-19)。 用 上 文中 第 一 种 方法 ， 我们 得 到 ， 
G/N) ELT] = p (9-125) 
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因此 g(T)=X Z p ñ UMVU 估计 器 。 第 二 种 方法 要 麻烦 些 ， 但 用 在 这 里 来 证 明 完备 性 。 注 意 
到 {X) 中 任意 项 可 用 于 构造 一 个 无 偏 估计 上 器， 因为 E[X,] 二 p。 为 了 计算 期 望 值 ELX, IT], RN 
需要 以 下 的 条 件 概率 : 


PERS oF L y =L PO, >s, Ti= 5) 














P(T = t) 
Be = RT SH. Sta) —_— 
Ë i 
其 中 例 9-20 中 的 方法 被 用 来 简化 分 子 项 。 则 
i= a u = wade w 
RUN =z, (F =) = = z (9-127) 
(e (5) 
t t 
Wr 
LN 
scu y ("= M) = (9-128) 
t t 
它 给 出 了 与 第 一 种 方法 同样 的 估计 器 : ELX,|TI=T/N=X. < 
JERA 设 {X,} 为 iid 随机 变量 ， 具 有 以 下 均匀 分 布 : 
fx (z) `" (176)Tro.p (x) (9-129) 
其 中 由 例 9-18(a=0), 我 们 知道 Xim 是 0 的 一 个 完备 充分 统计 量 ,7 它 具有 以 下 pdf: 
frog G) = ` Teo. (z) (9-130) 
用 第 一 种 方法 寻找 CO=0 的 UMVU 估计 上 器， 我 们 计算 以 下 期 望 值 : 
£[ eO ay 和 = xf gla) dx (9-131) 
为 了 让 这 个 表达 式 等 于 9， 积分 必须 为 内 +/N。 选 定 g(z) 一 工 得 到 : 
E: S es E Y 
ELg(Xim) J =N x dx (N+ Dë NFI’ (9-132) 
则 0 的 UMVU 估计 器 为 : 
g( Xin) = NX ww (9-133) < 


在 本 章 的 后 续 部 分 ， 我 们 考虑 通过 几 种 其 他 的 方法 从 N 个 iid 样本 {X!,…,Xw} SEA 
计 参 数 9。 这 些 估计 器 也 是 基于 充分 统计 量 , 但 它们 是 通过 引入 一 个 风险 函数 推导 得 到 的 ， 
这 个 风险 函数 可 用 来 产生 好 的 估计 器 ,但 可 能 不 同 于 UMVU 估计 器 。 它 不 需要 首先 找到 
一 个 充分 统计 量 ， 因 为 对 风险 函数 的 优化 可 直接 得 到 估计 器 。 但 是 ， 一 个 充分 统计 量 通常 
是 最 后 的 结果 。 我 们 从 经 典 的 贝 叶 斯 估计 开始 。 


9.10 贝 叶 斯 估计 


由 于 0 的 估计 器 工 是 样本 X 的 一 个 函数 ， 它 是 一 个 随机 变量 ， 特 征 由 其 分 布 决定 ， 分 
布 则 依赖 于 iid 样本 的 pdf。 除 了 考虑 对 0 的 充分 性 ， 我 们 对 无 偏 性 和 有 效 性 也 感 兴趣 ， 这 
部 分 的 内 容 会 在 本 章 稍 后 讨论 。 我 们 引入 一 些 用 来 描述 估计 器 质量 的 定义 。 

定义 (损失 函数 ) 损失 函数 C(t,9) 将 了 = 上 和 0 映射 为 一 个 实数 。 

有 许多 的 损失 函数 可 用 ， 比 如 以 下 的 例子 : 

平方 损失 : C(z,0) =(0— t)’ (9-134) 

加 权 平 方 损失 : C(t,0) =w(0) (0 — t)? (9-135) 
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绝对 值 损失 : C(t,0) 一 |0 一 了 | (9-136) 
0, |0—t|< c 
j : . = = =s k= - 9-137 
门限 : C(z,0) t Wier sae u(|@—t|—c) (9-137) 
qt, — £| i= 
nee C(1.0) =% 这 at lise (9-138) 


2c|0—t|—c:*, |@—t|>c 
其 中 w(9) 是 一 个 加 权 函 数 ， 只 与 9 相关 ，c0 是 一 个 门限 。 图 9-4 中 说 明了 这 些 损失 函 
数 。C(z,0) 是 衡量 i 偏离 真实 的 9 的 程度 的 一 个 量度 。Huber 损失 函数 在 门限 ec 处 由 平方 
损失 变 为 绝对 值 损失 。 一 般 希 望 C(，) 是 个 严格 凸 函数 ( 见 附录 B)， 这 样 估计 器 是 唯一 的 。 


平方 损失 函数 对 与 O 的 偏离 的 评价 要 比 其 ae a 
他 函数 更 严 ， 它 是 实际 中 用 的 最 多 的 损 
失 函 数 ， 因 为 通常 用 其 他 的 损失 函数 分 
析 和 推导 要 困难 的 多 。 
定义 (风险 函数 ) ”随机 变量 日 的 风 
险 函 数 是 损失 函数 的 期 望 值 : 2 PA aeo H 


R 全 ELC(T,9)] (9-139) 
其 中 期 望 值 是 基于 日 和 包含 的 随机 变 


Huber 问题 
量 站 的 联合 分 布 。 它 也 被 称 为 代价 函数 
和 目标 函数 。 Ç 
在 贝 叶 斯 估计 中 ,通常 假设 参数 为 
一 个 随机 变量 ， 因 此 它 具有 分 布 fo (OD. 全 ee eT 
c) d) 


目标 是 找到 样本 的 统计 量 T OE AL K 
数 最 小 。 将 此 期 望 展开 ，R 可 被 写 为 以 下 图 9-4 损失 函数 。a) 平方 误差 ; b) 绝对 值 误 差 ; 
形式 ， c)Huber; d) 门 限 


ELCT] =| | CO fo.x(0,x)d0dx 


=|" mf” CAD fx |a |0) fo dodx (9-140) 


其 中 第 二 个 表达 式 是 以 O 为 条 件 的 。 注 意 到 上 式 中 TEER: 条 件 pdf fx|e (x|0) 
和 边缘 pdf (0) 由 特定 的 问题 决定 。 接 下 来 ， 我 们 将 介绍 一 些 估计 中 用 在 两 种 重要 分 布 
中 的 专用 术语 。 

定义 ( 先 验 和 后 验 分 布 ) 未 知 参 数 的 边缘 pdf fe(0) 叫 做 先 验 分 布 。 也 被 称 为 优先 分 
布 。 后 验 分 布 是 条 件 pdf fe | Xi- xy CIES attie o 它 可 以 被 看 做 给 定 样 本 (X, s Xn} 时 
关于 未 知 随机 参数 @ 的 信息 的 一 个 “测度 ”。 

IEE 设 一 个 高 斯 随机 变量 中 均值 为 未 知 参数 ，o 已 知 。 由 于 N 个 样本 是 iid 的 ， 
条 件 pdf 为 : 





N 
fx|e(x|0) = [[ fx, le (z, 10) 
n=1 


N 
1 
ere eA E] >, — 0: /20" ) (9-141) 


这 是 个 已 知 均值 为 8( 因 为 条 件 设置 ) 和 已 知 ol 假设 已 知 ) 的 独立 高 斯 随机 变量 的 联 
& pdf。 为 了 继续 分 析 ， 需 要 知道 日 的 先 验 分 布 ; 假设 它 是 均匀 的 : 


Fa = A/D IanO) (9-142) 
则 式 (9-140) 变 为 : 
Es s 
E[C(CT,9)] -| | co, 
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。 exp(— 5 (=, — 0 /20° ) dadx (9-143) 

n=] 
为 了 继续 问题 的 分 析 ， 需 要 选择 一 个 特定 的 损失 函数 C(t,0)。 目 的 是 找到 本 使 得 
ELC(T.O)] KA, EMEA (X i... Xn} 的 一 个 函数 。 < 


我 们 稍 后 再 回来 讨论 这 个 例题 ， 先 分 析 一 些 特 定 的 估计 技术 。 
9.11 均 方 误差 估计 


考虑 两 个 随机 变量 X 和 Y， 它 们 是 相关 的 ， 联 合 pdf 为 fx,y(z,y)。 假设 XX 是 可 测量 
的 ， 而 工 是 无 法 直接 得 到 的 。 一 个 简单 的 例子 是 : 
X=Y+V (9-144) 
其 中 V 是 不 可 测 的 ， 并 且 与 了 独立 。 这 个 模型 对 许多 问题 都 非常 有 用 ， 我 们 需要 对 Y 进 
行 估计 ,但 是 附加 的 噪声 V 破坏 了 样本 。 由 第 4 章 ， 我 们 知道 当 Y 和 V 独立 时 (实际 问题 
中 通常 是 这 种 情况 )，X 的 pdf 可 由 以 下 卷 积 关系 得 到 : 


fx (a) = [f(a (9-145) 


AT HX 估计 Y， 需 要 知道 联合 pdf fx,y(z,y)。 在 9.10 节 的 记号 中 ,未知 “参数 ”是 
8@ 二 Y， 并 且 只 有 一 个 样本 X， 因 此 N= 二 1。 对 以 上 的 简单 模型 联合 pdf 为 


fx y Gr 30) = fx|v(z|y)fy(y) (9-146) 
运用 第 4 章 中 的 技术 : 
PORS lY =y PO EV < z=|Y = yy= P(V < z=— y |Y =») = PO <i y) 
(9-147) 
在 最 后 一 个 表达 式 中 我 们 运用 了 Y MV 独立 这 样 一 个 事实 。 则 
fx|v(z|y) ==Fv(z— y) = fe(z — y) (9-148) 
fx y (a, y) = fv (z — y) fy(y) (9-149) 


回 到 一 般 性 的 从 X 估计 Y 的 问题 中 ， 最 小 均 方 误差 CMSE) 估 计 的 目的 是 找到 可 测 随 
机 变量 X 的 函数 h(X) 二 本 使 以 下 的 风险 函数 最 小 : 
R 22g[(Y — k(X)2° ] (9-150) 
为 了 标记 方便 ， 我 们 用 Snss 来 代表 R, 工程 中 常用 这 个 符号 来 表示 MSE。 通 常 ， 
h(X) 是 一 个 非 线 性 函数 。 以 线性 函数 为 条 件 的 情况 稍 后 考虑 ， 在 MSE 估计 问题 中 ,约束 
h( 义 ) 为 线性 函数 时 ,我们 称 其 为 线性 MSE 估计 。 由 第 5 章 的 结果 ， 上 式 的 期 望 值 可 以 
写 为 : 


és = | S -hF /fer ydrdy (9-151) 
它 可 用 条 件 概率 表示 如 下 : 
EMsE =F [y= h(z)]°fy|x (y|z)fx(z)dydz 


=| raf [y— hla) J fy|x Gy|z )dydz (9-152) 


观察 到 由 于 fx(z)220, 使 &xsg 最 小 化 等 价 于 使 内 积分 对 每 个 z 最 小 。 因 此 ， 估 计 问 
题 简 化 为 : 
Ruse(x)-= arg min| [y — A(x)? fy |x Cylz)dy (9-153) 
对 每 个 z 值 成 立 。 将 积分 项 对 h(x) 微分 ， 并 令 其 为 0 得到: 


20 


-2f yjfrlx(ylz)dy 十 2huse(z)| fr[xCyleddy = 0 (9-154) 
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由 于 第 二 个 积分 项 为 1( 因 为 它 是 关于 y 的 一 个 有 效 的 pdf) ， 我 们 得 到 ; 
huse (z) =| ofr|x(ylz dy = ELY |X = =] (9-155) 


MSE 估计 器 是 在 给 定 X 一 工时 了 的 条 件 均值 。 由 于 这 个 表达 式 对 所 有 X 的 值 都 成 立 ， 
因为 X 是 随机 的 ，MSE 估计 器 可 被 写 为 





haat X) = BLY |X | (9-156) 
它 本 身 也 是 一 个 随机 变量 ， 因 为 它 是 X 的 一 个 函数 。 
MSE 估计 问题 具有 以 下 性 质 : 
e 最 小 。 式 (9-154) 对 AhAws(Cz) 微 分 得 到 ; 
Ə’ Euse ae £ 
sti (9-157) 


这 意味 着 Suse ZEA. PAI AsgsCz) 对 应 于 最 小 的 Assg( 不 是 最 大 的 ) 。 

e 独立 性 。 如 果 X AMY thy, Wely|XJ=ELY]. HF X 没有 提供 任何 关于 YY 的 信 
i, MSE 估计 器 简化 为 了 的 均值 。 

e@ 最 小 MSE。 如 果 将 hvse (x) 代 入 式 (9-151)， 相 应 的 最 小 MSEC(MMSE) X : 


uem =| ff Cy €L¥ le D*fy[x(ylerdyde (9-158) 


=| var(¥ |z) fx G)dz | (9-159) 


CEY 的 条 件 方差 对 所 有 X 的 值 取 平 均 。 
e° 贝 叶 斯 改进 。 在 许多 问题 中 ， 很 难 直 接 计 算 fy|x (y|z)。 对 这 种 情况 ， 用 贝 叶 斯 公 
式 将 条 件 pdf 重 写 如 下 会 有 利于 问题 分 析 : 


F afara fy Cdy | sfr |) fy G)ay 
Take) | frairo dy 


这 种 形式 计算 起 来 容易 些 ， 因 为 条 件 是 基于 不 可 测 的 随机 变量 。 在 以 前 的 加 性 噪声 
模型 中 ， 例 9-24 已 证 明了 可 以 直接 找到 fx|y(z|y) 的 值 。 
ieee 设 X=Y+V, BRAAF pdf: 


hAmse (x) = 


(9-160) 








fra) = (1/2)[6(y — 1) + ó6(y + 1)] (9-161) 
1 A 
fe (%) = exp(— v’ /20%) (9-162) 
á VITRO8 Y 


则 天 是 一 个 对 称 伯 努 利 随 机 变量 (输出 为 士 1) 和 一 个 高 斯 随机 变量 (参数 为 (a = 0,ov}) 的 
和 。 由 式 (9-148) 的 结果 ， 我 们 知道 


fx|v(z|y) = fe Gz — y) = 





=== (Z y)*/208) (9-163) 
y=] 时 这 个 条 件 pdf 以 及 fx(x) 如 图 9-5 Fr 2. 图 9-6a 则 是 对 应 一 定 范围 内 y 值 的 条 件 
pdf 的 三 维 图 ， 当 考察 联合 概率 密度 fx. (m,y) 时 非常 有 用 。 式 (9-160) 中 的 条 件 均 值 估计 
BAA, TUSK: 


fx|v(z|y)fy(y) = : 


2 /2nov 

+ exp(— (2 + 12 /2sk)6(y + 1)J (9-164) 
其 中 用 到 了 狄 拉 克 8 函数 的 采样 特性 。 这 个 表达 式 是 联合 pdf fx.y(z,y), 如 图 9-6b 所 示 。 
注意 到 理论 上 由 于 工 是 变化 的 ， 图 中 应 该 有 一 个 狄 拉克 8 函数 连续 区 ， 这 个 区 域 是 由 
式 (9-164) 中 高 斯 分 量 的 值 给 定 的 。 





[exp(— (a — 1)*/20%)6(y— 1) 
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Bl, falat), fa 4-1) 





图 9-5 例 9-24 中 的 条 件 和 边缘 pdf 





图 9-6 fj 9-24 的 pdf, a) 对 应 一 定 范围 内 y 值 的 fx|y(z|y)s b) fxy(z, y)=fx|r(z|y)fr(y) 
显示 了 (a) 图 中 只 有 在 y= +1 处 由 于 狄 拉 克 ó 函数 而 被 保留 的 两 个 "切片 ” 


对 (9-160) 的 分 子 积分 得 到 : 








p 3 1 2 
yf xly (rly) fy) dy =——L[exp(— (a — 1)?/20%) — exp(— (x + 1)? /20%) J 
p x | ¥ Y z Ji U V 
1 2 2 2 : 2 
= —exp(— (2’ + 1)/20%) Lexp(2/a}) — exp(x/a}) ] 
2 /2not i I f 
1 . 2 
= —exp(— (2° + 1)/2o%,) sinh(x/oi,) (9-165) 
V2nov + g 
其 中 用 到 了 狄 拉克 8 函数 的 卷 积 特性 。 同 样 ， 式 (9-160) 的 分 母 为 : 
>D ' 1 9 
fx\y(x|y) fy (vy) dy =—— — exp(— (z — 1)? /20%,) + exp(— (£ + 1)*/204) J 
Ë | 2 V2rcoy 
1 9 
= ———exp(— (2’ + 1)/20%,) Lexp(2/o%) + exp(— x/o7) ] 
2 /2nov ý i 
—=— L _exp(— (2? +1)/20%)cosh(z/o%) (9-166) 
2nov 


则 MSE 估计 器 简化 为 : 
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huse(X) =-tanh(X7/o55 (9-167) 
图 9-7a 提供 了 对 于 不 同 的 信 骂 比 (SNR) 时 上 述 结论 的 例子 ， 此 处 信 噪 比 的 定义 为 : 
SNR 4o5/oy = 1/o% (9-168) 
观察 极限 值 ， 当 SNR—co, HM >o, MSE 估计 器 变 为 一 个 符号 函数 : 
lim tanh(X/ov) = sgn(X) (9-169) 


在 一 个 Y 为 传输 “信号 ”， 而 V 为 加 性 噪声 的 通信 系统 中 ，MSE 估计 器 可 被 看 做 一 个 
软 决 策 器 ， 它 的 输出 是 [一 1,1] 上 的 连续 点 。 随 着 SNR 的 增加 ， 双 曲 正切 显得 更 象 符号 
函数 ， 在 极限 处 趋 近 于 一 个 硬 决 策 器 (输出 值 为 土 )。 符 号 函数 是 外 在 加 性 高 斯 白 噪 声 条 
件 下 的 最 优 检 测 器 ( 见 第 10 章 )。 < 


ERD. 考虑 一 种 特殊 情况 : 例 9-24 中 的 估计 器 必须 严格 具备 以 下 简单 的 线性 





humus (X) = aX (9-170) 
HYP a 是 待 估 参 量 。MSE J: 
êus = EL(Y — aX)’] (9-171) 
为 使 其 最 小 ， 当 
gs EE) _ _ et LC 1 (9-172) 


ELX] elev] 1+ 
时 线性 MSE 估计 器 为 : 


hug CX) = (9-173) 


x 
st +1 
图 9-7b 中 画 了 不 同 的 信 骂 比值 SNR=1/s 对 应 的 估计 器 。 观 察 到 随 着 SNR 的 增加 ， 直 线 的 
斜率 趋 近 于 1。 直 观感 觉 这 是 对 的 ， 因 为 a—0, # í Y= +1 RATX 的 pdf 的 方差 在 
X 一 1( 或 者 X 王 一 1) 附 近 越 来 越 沙 ， 这 意味 着 了 被 以 更 大 概率 估计 为 正确 的 值 。 另 一 方面 ， 
当 史 比较 大 时 ， 估 计 器 用 一 个 较 小 的 斜率 来 补偿 X 中 这 个 较 大 的 不 确定 因素 ; 实际 上 ， 是 
将 的 一 个 很 大 范围 内 的 值 压 缩 了 以 估计 立 。 因 为 和 的 条 件 pdf 在 士 1 处 方差 更 大 。 很 有 意 
思 的 是 对 于 低 SNR 值 ， 以 前 的 非 线性 估计 器 趋 近 线性 估计 器 的 形式 ， 如 图 9-7a 所 示 。 





a) b) 
图 9-7” 对 应 不 同 SNR 的 MSE 估计 器 的 例子 。a) 例 9-24 中 非 线性 估计 器 ; b) 例 9-25 中 的 线性 估计 器 << 
在 例 9-25. 中 ， 佑 计 器 不 是 条 件 均值 估计 器 ， 因 为 用 到 了 对 h(X) 的 函数 形式 的 约束 。 
在 第 11 章 ， 我 们 考虑 扩展 这 种 线性 估计 器 成 为 作用 于 随机 过 程 的 线性 滤波 器 。 
UERS 设 X 和 Y 为 联合 高 斯 的 ， 联 合 pdf 为 : 


xyrCzyy) x P BETS 
2noxoy V 1 — p° 





exp(— L(x — py)? /ox — 2plx — py) (y — py) /oxoy 
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+ Cy = py)? /o% 1/2 — p*)) (9-174) 
其 中 
GxGy GXGY 
为 相关 系数 。 为 了 推导 MSE 估计 器 ， 需 要 写 出 fy|x(y|z) 和 fx(x) 的 表达 式 。 很 快 得 到 
X 的 边缘 pdf #: 








Jx Ca) = exp(— (x — uy)’ /20%) (9-176) 
2rcx 
条 件 pdf fy|x(yl|z)= fx.y€z, y)/ fx (z) A 
1 
fylx(y|z) =— expl [(y — u, )* /o} — 2p0(y — u) lx — uy) /0 
Y|x Vanor J/1— oe Hy Y p Ar Lx XOY 
+ (a — py)? /o& 1/20. — N + (a— gc)" /20%) (9-177) 
正如 所 期 望 的 ， 条 件 pdf 也 是 高 斯 的 ， 这 可 通过 重 排 指数 项 得 到 : 
fex lz) FA yE Ly — puy)’ /of — 20(y — py) (z — py) /oxoy 
JV 2xoy (1 — p°) 
+ (x py)? foe — A Cr =) VET) 
一 
2r (1 — 0°) 
+o oy (x — py)? /ox ]/2oy (1 — o )) (9-178) 
简化 为 : 
frx Olo) = 1 exp(— Ly — py — oyp (z — uy) /ox}/2 (1 — ø )) 


V 2xoy (1 — p) 

(9-179) 

(第 4 章 对 零 均值 随机 变量 的 推导 也 得 到 了 类 似 结 果 。) 条 件 均值 估计 器 是 式 (9-179) 的 
均值 ， 用 随机 变量 义 取代 工 : 


hus (X) = py + ploy/ox) (X — py) (9-180) 
条 件 方差 和 MMSE 是 式 (9-179) 的 方差 : 
EMSE.min = or (1 — p°) (9-181) 


因此 ， 当 随机 变量 是 联合 高 斯 的 ，MSE 估计 器 是 一 个 六 的 仿 射 函数 。 考 虑 以 下 特殊 
情况 : (i) 如 果 两 个 随机 变量 都 是 零 均 值 ， 则 hws (X) 二 ploy/ox)X 恰好 是 线性 的 ; Ci) R M 
机 变量 不 相关 ，p 一 0， 则 hus(X)=p, 5 X # +, MMSE 3 od. < 
9. 12 平均 绝对 误差 估计 


考虑 相关 随机 变量 X ALY, KA pdf 为 fxy(z,y), X 是 可 测 的 。 平 均 绝对 误差 (MAE) 
风险 函数 为 : 
£a = EL|Y —ACX) |] (9-182) 
要 将 其 最 小 化 ,我 们 只 需要 再 次 检测 以 下 表达 式 的 内 部 积分 项 ， 


ÊMAE =|" f |y — hlr) | fx,vy (z, y)dxzdy 


=|" f| ly 一 HAzlFlxcylz)dzqy (9-183) 


绝对 值 可 通过 将 积分 项 分 为 两 个 积分 式 子 的 和 来 处 理 ， 这 样 估计 器 可 以 表示 成 以 下 
AF: 


hmar (x) =arg min| ly—h(x)| fyjx y lz)dy 
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h(x) 
一 arg min| | h(a) —y)fy|x(yl|z)dy 


HE GAG) frx le rdy] (9-184) 
要 使 其 最 小 ， 只 需要 将 积分 项 对 上 (z) 微 分 并 采用 莱 布 尼 茨 积分 法 则 ( 见 附录 ED 
h(r) h( r) 
e s (hGz)—y)fy|x(ylz)dy =| fylx (ylz)dy (9-185) 
ə f= w 
s |... G Ae fe|x(y|z)dy = |” — frlx ylz)dy (9-186) 


JOB, fe|x (yl ARF AKCz)。 设 等 号 右边 项 的 和 为 零 ， 我 们 看 到 使 MAE 最 小 的 函数 
是 条 件 中 位 数 ， 


imag?) =] 
| fr|x(yladdy = | fy|x(y|2)dy (9-187) 
一 cc MAE( 工 ) 


这 意味 着 
PCY < hua (x) | X = z) = P(Y > hwaz(z) | X = z) = 1/2 (9-188) 
对 MSE 估计 器 也 是 同样 的 情况 ,但 并 不 总 是 很 容易 就 找到 fy|x(y|z); 用 如 下 所 示 
贝 叶 斯 公式 可 将 MAE 最 优 条 件 重 写 为 : 


AMAECz) oo 
| fx|v(z|y) yG)dy = | fell fr Ody (9-189) 
“= MAE 


其 中 两 边 的 fx (zx) 都 被 消去 ， 因 为 只 对 y 积分 。 这 个 结果 也 可 通过 联合 pdf 对 y 积分 
得 到 : 


AMAECZ) ° 
| fx.v(z,y)dy = | xyrCzyy)dy (9-190) 
一 cc hMAECT) 


ORED 对 式 (9-144) 中 的 加 性 噪声 模型 ， 如 例 9-24 F Y 为 对 称 伯 努 利 以 及 V 是 高 斯 
的 情况 ， 将 (9-164) 代 入 (9-189) 得 到 : 


h(x) 
| EC 二 





=|" [exp(— (a — 1)? /20%)8(y — 1) + exp(— (a +1)? /204) Oy + 1) ]dy (9-191) 


其 中 消去 了 公共 项 。 被 积 函数 相同 ， 包 括 两 个 y 王 士 1 处 的 狄 拉克 函数。 很 显然 ， 只 有 
3 hlr) € [一 1,1] 时 两 个 积分 项 都 是 非 零 的 ， 这 样 等 式 左边 包括 了 y=—1 的 8 函数 ， 等 
式 右 边 包 括 了 y= 二 1 的 86 函数。 这样， 由 式 (9-191) 得 到 : 

exp(— (x + 1)?/20%) = exp(— (x — 1)/20%) (9-192) 
则 式 (9-189) 不 成 立 ， 除 非 z= 二 0( 它 发 生 的 概率 几乎 为 0)。 选 择 离散 随机 变量 中 位 数 作为 
一 个 整数 输出 ( 见 第 5 章 )， 则 式 (5-187) 和 (9-191) 说 明 : 


huaE (X) sgn( X) (9-193) 
这 个 结果 在 例 9-24 中 当 SNR 一 co 时 也 得 到 过 ， 这 是 稍 后 将 讨论 的 最 大 似 然 估计 器 。 
这 个 例 子 将 在 习题 9-15 中 进一步 讨论 。 < 


9.13 正 交 条 件 


接 下 来 ， 我 们 证 明 条 件 均值 估计 器 的 一 个 重要 特性 。 正 交 性 在 第 5 章 中 讨论 过 ， 并 且 
条 件 期 望 的 各 种 特性 都 已 描述 过 。 
定理 9-8 条 件 均值 估计 器 haE(X) 对 所 有 函数 g(X) 有 以 下 正 交 特性 : 
ELCY — Ause (X)) g(X)] = 0 (9-194) 
证 明 : RERA RI X 为 条 件 得 到 : 
ELCY — hse (X))g(X)] =ELELCY — hus (X))g(X)|X]] 
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=E E O — Amuse (X)) | X]g(X)] 
=€[(€[Y |X] — hse (X)) g(X)] (9-195) 
在 第 二 行 ， 条 件 允 许 我 们 将 g(CX) 放 到 求 内 部 期 望 运算 的 外 面 。 最 后 一 行 我 们 利用 了 
ELhmse (X) |X]S humr (六 ) 这 个 关系 式 ， 因 为 估计 器 是 X 的 一 个 函数 。 由 于 EL[Y |X]= 
AhwsE(X) 最 后 的 表达 式 为 零 ， 则 证 明 完 毕 。 
正 交 条 件 可 用 来 推导 最 优 估计 器 ， 因 此 它 是 充分 必要 的 。 假 设 式 (9-194) 成 立 ， 则 对 
所 有 的 g( X) 


ELhus (X)g(X)] = ELYg (X)] (9-196) 
将 等 号 右边 的 式 子 以 X 为 条 件 进行 说 套 求 期 望 得 到 : 
ELhvse (X) g(X)] = ELE[LYg (X) | XJ] = ELELY |X Jg(X)] (9-197) 


由 于 等 式 必须 对 所 有 函数 g(X) 都 成 立 ; 而 这 只 有 在 hwseg(X) 一 ELY|X] 时 才 会 发 生 。 
这 种 基于 正 交 条 件 的 方法 在 第 5 章 中 曾 用 来 证 明 出 现在 期 望 下 的 数目 相等 。 

假设 MSE 估计 器 中 ， 我们 只 能 得 到 样本 的 函数 g(X)， 而 不 是 X。 我 们 可 能 希望 知道 
E[Y|X] 和 EL[Y|g(X)] 是 如 何 相关 的 。 首 先 ， 得 到 一 个 以 X 为 条 件 的 舱 套 期 望 


E[Yg(X)] = ELELYg (X) | XT] = ELELY |XJg(X)] (9-198) 
其 中 外 部 期 望 运算 是 基于 X 的 pdf。 接 下 来 ， 换 成 以 g(X) 为 条 件 : 
E[Yg (CX)] = g[e[Yg(X)| g(X)1] = ELELY |g CX)Jg(X) (9-199) 
其 中 外 部 期 望 运算 是 基于 g(X) 的 pdf。 由 第 5 章 我 们 知道 对 于 Z=g(X): 
[| frade a BEZE: (9-200) 
则 式 (9-198) 和 式 (9-199) 的 内 部 期 望 值 一 定 相等 ; 
E[Y|X] = ELY |g (X)] (9-201) 


当 以 X 或 某 些 函 数 5(X) 为 条 件 时 ， 条 件 均 值 估计 器 是 相同 的 。 这 个 结果 是 第 5 章 中 
描述 的 条 件 期 望 的 平滑 性 的 一 种 形式 。 

我 们 还 可 以 用 第 4 章 中 的 变换 方法 来 证 明 E[Ylg《(X)] 与 ELY | X HG. 假设 g(X) 是 
单调 增长 的 : 


ELY |g(X) ] =|" yf y | eco (y |g (x) dy 


==... of eo | y (g(z) |y)fy(y)dy (9-202) 
其 中 用 到 了 贝 叶 斯 公式 。 代 入 以 下 表达 式 : 
fax |v(g(z)|y) = fx|vy(g (ez) |) |p 


|=—fx|yGze|y) (9-203) 











on ka g ey 
得 到 ; 
g£[Y|g(X)] = FECT 5l. yfx|v(z|y)fy(y)dy (9-204) 
aq eee: rs 
¿LYleG01=-—ywm| frix ty lz) fa @ddy 
ZG) ç 
a = GEO ELY |X] (9-205) 
ELYIXJ 前 的 乘积 项 与 式 (9-203) 中 相似 ， i ON 
IER E PEET MR eee, — S| (9-206) 


feco (g (z))g (x) 
证 明了 E[Y|lg(X)]==E[Y|X]。 这 个 结果 对 一 般 的 变换 g(X) 也 成 立 ， 但 如 第 4 章 中 讨论 
过 ， 当 函数 为 非 单 调 时 需要 做 更 多 的 工作 。 
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9. 14 估计 器 的 性 质 


在 这 一 节 ， 我 们 描述 估计 器 的 几 个 重要 特性 。 由 于 估计 器 是 样本 的 函数 (样本 是 随机 
变量 ) ， 它 也 是 一 个 随机 变量 (或 对 于 多 维 的 情况 是 一 个 随机 向 量 )， 因 此 其 分 布 也 非常 重 
要 。 我 们 注意 到 分 布 通常 是 不 固定 的 ， 如 果 在 估计 器 中 包括 更 多 的 样本 ， 则 估计 器 的 分 布 
的 各 种 特性 (比如 方差 ) 也 会 发 生变 化 。 典 型 的 情况 是 估计 器 的 分 布 随 着 N 的 增长 更 集中 
于 参数 9 处 。 

设 {X,} 为 üd 高 斯 随机 变量 ,均值 jy 未 知 ,，o 已 知 。 回 顾 一 下 样本 均值 


是 Ap 的 最 小 充分 统计 量 。 可 以 直接 证 明 也 是 服从 高 斯 分 布 ， 参 数 为 {jx,o/ VN}. 图 9-8 
显示 的 是 其 pdf 的 例子 ， 说 明了 估计 器 是 怎样 随 着 N 的 增加 而 变 得 更 准确 (pdf 的 宽度 减 
小 了 ) 。 


估计 器 pdf 





图 9-8 fii] 9-28 中 随 着 N 的 增 大 ， 样 本 均值 H pdf < 


对 于 一 个 估计 器 的 以 下 特性 ， 假 设 参数 (或 参数 向 量 9) 是 非 随机 的 。 我 们 用 符号 b 定 
MO 的 估计 器 来 表示 它 是 一 个 随机 变量 (代替 以 前 章节 中 大 写 的 T) 。 
9. 14.1 无 偏 性 

第 一 个 特性 描述 的 是 估计 器 相对 于 4 的 位 置 。 

定义 (无 偏 性 ) 0 的 估计 器 0 是 无 偏 的 ， 如 果 满 足 E[ 们 二 9。 

无 偏 性 是 估计 器 的 重要 特性 : 通常 我 们 希望 估计 器 的 均值 与 参数 值 相同 。 但 是 ,不 一 
定 必须 是 这 种 情况 ， 因 为 用 一 个 有 偏 的 但 是 更 低 方差 的 估计 器 可 能 会 更 好 ， 只 要 偏差 不 是 
AA 

定义 (偏差 ) 估计 器 6 的 偏差 BOA B(0) 2 g[0]—0. 

显然 ， 当 估计 器 是 无 偏 的 ，B(b)=0 
DERO 对 于 均值 为 wx Wiid(X,), X BAH: 


N N 
EX] = 92 €[X,] = Nye = py (9-207) 


图 9-8 中 例题 的 pdf 同样 适用 这 个 结论 。 假 设 现在 我 们 需要 为 方差 9=o 设计 一 个 无 
偏 估计 器 ， 考 虑 两 种 情况 : Gu BS: (ip 未 知 。 对 这 两 种 情况 ， 用 到 了 样本 的 和 ， 
但 形式 不 同 : 
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N 
0 =a 2 (X, — py)? (Ax 已 知 ) (9-208) 


=a D(X, — — X): (jx 未 知 ) (9-209) 


其 中 在 情况 (iD 中 用 到 了 样本 均值 ， as 个 系数 ， 用 来 使 每 个 估计 器 无 偏 。 对 于 情况 Ci)， 
由 于 样本 是 iid 的 ， 


N 
ARA =a), ELX? —2y,X, + pk] 


j NE: + pk ri 2x + x] = aNo x (9-210) 
iZ Fe HR a=1/N, 则 9 是 无 信 的 ， 情况 Cii ) 计 算 起 来 更 复杂 ， 因 为 样本 均值 叉 ; 


e[6] “s; ELX? 一 2X,X + X°] 
n=1 


#0[ NE HY 233 £[X,X]+ N €[X’]] (9-211) 
PEA iid 的 rf 
一 2 一 
E[X.X,。] = eee ad, a (9-212) 
因此 
5 ECX, X] = C/N) [Nok + k) + ON? — N) pk] (9-213) 
同样 s: 


ELX] = ta >) >) EL XX.) = O/ND[NGE + pk) + (Nt — Nok] (9-214) 
将 式 (9-211) 中 所 有 项 联合 得 到 
£[0] = a[N(ox +k) — (1/N)[N(ax + k) + ON? — N) ]] = aN lok 
(9-215) 
当 ux 未 知 ， 如 果 au 王 1/CN 一 1)， 则 路 的 估计 器 是 无 偏 的 。 这 给 出 了 样本 方差 S ， 它 
在 以 前 章节 中 讨论 过 。 注 意 到 高 斯 的 假设 不 是 必须 的 ， 以 前 对 样本 均值 的 结论 是 通用 的 
(对 iid 样本 )， 与 特定 的 分 布 无 关 ( 假 设 均值 存在 ， 方 差 是 有 限 的 )。 < 
9.14.2 一 致 性 
接 下 来 ,我 们 想 确 定 随 着 样本 数目 N 的 增长 ， 估 计 器 是 否 会 在 某 种 意义 下 收敛 于 0; 
这 样 的 估计 器 被 称 为 具有 一 致 性 。 
定义 ( 弱 一 致 性 ) 估计 器 6CN) 是 弱 一 致 的 ， 如 果 它 依 概率 收 仇 ; 
lim P( |ó—0|>2 £) = 0 (9-216) 
对 每 个 es 二 0。 
尽管 一 致 性 意味 着 9 的 pdf 变 得 越 来 越 集中 于 9， 它 并 不 直接 专注 于 估计 器 的 方差 是 否 
趋 近 于 零 。 一 致 性 也 可 以 用 几乎 必然 收敛 的 方式 来 描述 。 
定义 ( 强 一 致 性 ) ”估计 器 0 是 强 一 致 的 ， 如 果 它 几乎 必然 收 化: 
P(lim § = 0)=1 (9-217) 
如 果 一 个 估计 器 是 强 一 致 的 ， 则 它 也 是 弱 一 致 的 ， 因 为 几乎 必然 收 仇 意味 着 依 概率 收 
Kh, wR 7 章 中 所 讨论 的 。 
URED 考虑 例 9-29 中 的 第 (i ) 种 情况 ， 其 中 和 用 来 估计 一 个 已 知 方差 cx 的 高 斯 分 
布 的 均值 py. HT X 均值 wx 和 方差 cg/N 
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P(X—pxl>e) = P(|Z|> =2| l exp(— z°/2(0%/N))dz 


(9-218) 
Joh ZAX—p, 是 零 均 值 高 斯 的 ， 方 差 为 吃 /N， 我 们 用 到 了 它 的 pdf 是 偶 函 数 的 特性 。 
根据 y 2 z/(ox//N) FREES : 


P(|X—p»,|>e) = ——exp(— y’/2)dy = 2Q(./Ne/ox) — (9-219) 


ap 

VNe/e TE 
其 中 QC: ) Q 函数 。 很 显然 随 着 NEES, 以 上 的 概率 趋 近 于 零 ， 则 X 

是 弱 一 致 的 。 当 然 ， 这 个 结论 是 第 7 章 中 讨论 过 的 弱 大 数 定 理 的 重 述 。 以 上 的 概率 是 

图 9-8 中 对 应 wx 一 0 时 pdf 尾部 下 的 面积 ， 从 图 中 可 以 很 清晰 的 看 到 对 于 一 个 固定 的 s， 它 

随 着 N 的 增长 而 减 小 。 < 
pr E EE 一 致 的 ( 见 附录 F): 


> ww 
P¢|X=—p,1>0 < < Na (9-220) 


对 于 正 的 es， 随 着 N-~co 式 子 的 右边 趋 于 零 。 根 据 强大 数 定理 ( 见 第 7 BR), MR X th 
是 强 一 致 的 ， 但 推导 起 来 更 复杂 。 
对 例 9-29 中 的 第 (| ) 种 情况 ， 一 个 o 的 无 偏 估计 器 的 方差 是 在 假设 px B 
知 后 推导 出 的 。 由 于 
EL- ls zg[#] — @# (9-221) 
6 是 无 篇 的， 只 需要 计算 E[ 全 ]。 因 此 


eë] = 1. [( 220 ao) ] = heyr ] (9-222) 
其 中 YY, 全 X, 一 px 具有 零 均 值 和 方差 ax。 由 于 {Y,} 是 iid 的 ,期望值 简化 为 : 
¿| (PY:) | = NeLY:T FN — N) eye] (9-223) 


假设 X. 是 高 斯 的 ， 参 数 为 (uzor) WY, 也 是 高 斯 的 ， 这 允许 我 们 用 方差 表示 一 个 
四 阶 中 心 距 ( 见 第 5 章 ): 





g[Y:] = 30k (9-224) 
将 以 上 所 有 结论 联合 ， 代 入 =o y. FHF: 
€((@ — 6)? ] = (1/N?)[3Nok + (N? — N)ok] — ak = 204/N (9-225) 
当 N>ooh, EX TZ, < 
UREA 对 例 9-31 pA 3 AK, R EAE H py, Hor 的 常用 估计 器 
0 = a 51 (X, — ny) i (9-226) 
由 式 (9-225) 的 结论 ， 得 到 式 (9-226) 的 方差 : 
E[(6 一 0)2] = a? [2Nok + N’ok ] — ak = [a NCN + 2) — 1 ok (9-227) 
为 了 使 方差 小 于 式 (9-225) 中 无 偏 估 计 器 的 方差 ， 我 们 需要 
a’ N(N + 2) — 1 < 2/N=a < 1/N (9-228) 
但 是 ， 为 了 得 到 一 个 有 效 估计 器 ， 还 有 必要 满足 : 
1 
"NN 2) —1 > 0 > ———n (9-229) 
I 7" = IRAT 


最 后 的 结论 使 我 们 无 法 使 用 a 二 1/(N 十 1)。 图 9-9 É Y a 对 应 NN 的 上 下 界 的 约束 以 
及 a 二 1/(N 十 1/2) 的 关系 。 在 N 较 小 时 ， 我们 看 到 用 比例 因子 比 用 a 二 1/N 更 有 优势 ， 但 
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增益 适中 ， 并 且 不 能 用 ok 的 无 偏 估计 器 证 明 。 


1 -一 一 一 
—N 
os == ty | 





s 

© os 
= 

2 04 

0.3 

02 

0.1 

7 772 s a s © 7 8 toa) ON 
N 
E 9-9 f] 9-32 中 样本 方差 的 比例 因子 a 的 值 ( 为 了 看 起 来 清晰 将 离散 的 值 用 直线 连接 起 来 ) < 
9.14.3 有效 性 
估计 器 的 有 效 性 由 其 方差 决定 。 


定义 (有 效 性 ) 一 个 无 偏 估计 器 6 是 有 效 的 ， 如 果 它 的 方差 达到 克拉 美 罗 下 限 。 
克拉 美 罗 限 (CRLB) 是 0 的 协 方差 矩阵 的 完整 的 边界 ， 它 由 {X, 的 分 布 参数 和 样本 的 
数目 N 确定 。 在 附录 下 中 推导 得 到 : 
cov[0] > Z (0) (9-230) 
其 中 


T(6) = e| (Sloe Oo ) (Slow F(x) ] (9-231) 


是 Fisher 信息 矩阵 ， fx (X) EF K X Á [X; get Ni: 的 联合 pdf， 0 会 [0 rd 注意 
到 期 望 运 算 中 的 pdf 的 变量 是 随机 向 量 X。 上 面 的 不 等 式 是 在 附录 下 中 描述 的 半 正 定 
(PSD) 意 义 下 定义 的 。Fisher 信息 矩阵 的 另 一 种 更 容易 计算 的 形式 是 基于 二 阶 导数 : 





3 
T0) =- e| Solog fx(X)) | (9-232) 
对 数 可 以 是 任意 底 ， brig, In( fx(X)). 
ER) 设 (X... X.) 是 一 个 泊 松 随机 变量 的 id 样本 ， 未 知 参数 9 二 a， 联合 pdf 为 ， 
exp(— Nada Ye. 
e eB E (9-233) 
ES 
这 个 式 子 的 对 数 为 
In(Cfx(x)) =— Na + D)z,ln(a) —In( J] z!) (9-234) 
微分 后 为 
ə i ' 
S ln fx G) =—N+ = D an (9-235) 


于 是 (标量 )Fisher 信息 为 
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Tla) = e| (Èran) ]= ¿[° — 2N x, +5 Da) | “36 


由 于 DIX, 是 参数 为 Na 的 泊 松 变量 ， 我 们 得 到 


Ila) = N? -ANa 十 去 (Na +N?) = N/a (9-237) 
CRLBa/N 用 Fisher 信息 的 二 ka hasa huan 
(a) =~ e| Slog’ F(X) |= al aie Ja INe) = N/a — (9-238) 
考虑 用 样本 均值 来 估计 a。 由 于 它 是 无 偏 的 ， 3 的 方差 是 
—_ = , 1 N 2 
varlé] = é[(X—a)*] = ne (aX Na) ] = (Na) =a/N (9-239) 
它 达 到 了 CRLB: 样本 均值 是 泊 松 分 布 的 参数 0 二 a 的 一 个 有 效 估计 器 。 < 
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假设 我 们 想 要 从 N 个 iid 样本 {Xi,…,Xw} 估计 随机 参数 9， 设 它 具 有 已 知 pdf Js(b)。 
回顾 一 下 在 估计 间 题 中 ，/f。 (9) 被 称 为 先 验 分 布 ， 它 在 样本 被 观察 前 就 描述 了 O 的 特征 。 
后 验 分 布 fe|x, xy Olx en) 则 是 在 收集 了 N 个 样本 后 对 @ 的 特征 进行 描述 。 用 贝 叶 
斯 公式 ， 后 验 分 布 可 由 先 验 分 布 表示 如 下 
fx|e (x |0) fa (0) 


fe|x(0|x) = = (9-240) 
x 


分 子 是 给 定 @=0 后 样本 的 联合 pdf ， 而 分 母 是 不 设置 任何 条 件 下 的 样本 的 联合 pdf。 通 常 ， 
分 子 中 的 两 项 都 假设 是 已 知 的 。 而 分 母 通常 是 未 知 的， 但 是 可 由 分 子 推导 得 到 ， 如 下 所 示 : 


fa = Ë fx|e (x |0) fe (0)q0 (9-241) 


最 大 后 验 C(MAP) 估 计 器 busp 就 是 使 式 (9-240) 的 左边 的 后 验 分 布 最 大 的 值 。 由 于 分 母 
与 9 没有 直接 的 关系 ， 它 不 影响 最 大 值 ， 可 以 被 忽略 。 要 得 到 最 大 值 必须 联合 考虑 等 式 右 
边 分 子 中 两 个 pdf。 稍 后 ,我 们 将 描述 最 大 似 然 (ML) 估 计 器 ， 它 忽略 了 @ 的 先 验 pdf, JR 
而 代 之 的 是 找到 pw. 使 式 (9-240) 右 边 ( 它 被 称 为 似 然 函 数 ) 的 条 件 pdf 最 大 。 在 本 章 的 剩余 
部 分 ， 我们 将 用 下 标 来 标示 特定 类 型 的 估计 器 (代替 之 前 用 到 的 符号 从。 

定义 (MAP 估计 器 ) ”参数 9 的 MAP 估计 器 是 使 后 验 pdf 最 大 的 值 : 


Omar = arg maxfe|x (0|x) (9-242) 
由 于 式 (9-240) 的 分 母 与 9 无 关 ，MAP 准则 可 重 写 为 
Omar = arg maxfx|e(x|0) fe (0) = arg maxf x.e(x,0) (9-243) 


通常 用 后 一 种 形式 ， 因 为 在 给 定 @ 后 确定 样本 的 条 件 pdf 更 容易 。 当 然 这 个 表达 式 仍 
然 需 要 我 们 知道 8 的 先 验 pdf， 这 在 MAP 估计 中 是 必须 的 。 

在 给 出 一 个 例子 前 ， 我 们 先 对 符号 做 一 个 说 明 。 在 之 前 涉及 充分 统计 量 的 章节 中 ， 
fx(x;0) 被 用 来 表示 {X,) 的 联合 pdf， 参 数 为 6， 我 们 用 它 来 寻找 充分 统计 量 。 它 与 条 件 
pdf fxje《x19) 的 记号 的 相等 的 ，fx|elx19) 以 9 为 条 件 ，9 的 所 有 随机 性 都 被 忽略 了 。 但 
是 ， 对 MAP 估计 器 ,我 们 需要 考虑 样本 和 参数 的 联合 pdf: fx.el(x，0)。 


GED 考 起 一 个 高 斯 随机 交 量 ， Arak a), Biwo R # E — E W B y 
布 的 随机 变量 。 对 NN 个 iid 样本 X, 条件 pt A: 


fx |. Gl) = rene >e. — p12) (9-244) 
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(由 于 大 写 的 jp 与 拉丁 字母 IM 相同 ， 我 们 在 下 标 中 用 小 写 的 六 ， 从 避免 引起 混 浠 ， 它 
仍 是 一 个 随机 变量 。) 将 这 个 表达 式 乘 以 标准 高 斯 分 布 的 /的 边缘 pdf 再 积分 就 得 到 了 样本 
的 联合 pdf; 


hi 1 op v'i T N G“ Ë š + 
he = ry | pë /Dexp(— 3) re — p) /20 ) de (9-245) 
将 指数 项 合并 和 展开 得 到 : 


N N I 
pot 3 (2, — H) = > Cap? — 2pr +22) = aN[ y? — (2T /a)u + z /a] (9-246) 
n=1 n=1 


其 中 我 们 忽略 了 一 1/2g:- 项 ,a 会 1 十 g*/N, TERKHEX HHH, Z E Et k i — l #E 
的 一 个 值 : 


xo idx: (9-247) 
由 于 是 对 六合 FEARS pdf， 我 们 将 jy 的 平方 项 重 写 为 ， 
po + De =p)’ =aN[ lu- T/a) + z*/a — m° /a? ] (9-248) 
将 这 不 结果 代入 式 (9- 245) 得 到 ， 
fx (x) s Sa Ka (N/2a2) (x? — T /a)) 
Ë Vrne) š T 
; T- exp(— (aN /20°) (uy — Z/a)” dy 
= e aN exp(— (N/26") (Z — zt /a)) (9-249) < 


BAA], AAW 2’ /a, HHA’ /aN 的 高 斯 pdf。 图 9-10a 给 出 了 N= 
2 和 o==1 的 图 。 观 察 到 它 关 于 += x HAWK: 这 个 对 称 性 可 以 扩展 到 高 维 ， 因 为 pdf 
是 通过 元 和 z 与 观测 值 相关 的 一 个 函数 ， 它 们 不 依赖 于 样本 的 次 序 。 对 MAP 估计 器 ， 这 
个 pdf 结论 并 不 重要 ， 因 为 fx(x) 不 是 y 的 函数 。 以 上 我 们 给 出 推导 过 程 就 是 为 了 强调 : 
当 @ 为 随机 变量 时 ， 联 合 pdf 与 fxje(x10) 不 同 ; 它 是 一 个 {zx,} 的 复杂 表达 式 ， 在 这 个 例 
子 中 它 甚 至 不 是 高 斯 的 。 

图 9-10b 显示 的 是 式 (9-244) 在 特定 值 "一 一 1 时 的 条 件 pdf fx|, (elu). RE fe}, (ely) 
与 图 9-10a 中 的 pdf 看 起 来 相似 ， 但 它 实 际 上 是 高 斯 的 ， 因 为 样本 是 iid 的 ， 它 关于 中 心 圆 
对 称 。 由 于 /是 变化 的 ，pdf 的 中 心 沿 着 zi =r 直线 移动 。 在 图 9-10c 中 ， 我 们 给 出 了 这 
两 个 pdf 在 wx 一 一 1 时 的 比例 ， 它 被 用 于 式 (9-240) 的 贝 叶 斯 公式 中 。 由 于 jy 是 变化 的 ， 这 
个 象 波浪 样 的 pdf 的 比值 沿 着 zi = =, 直线 移动 。 很 有 趣 的 是 它 的 最 大 值 沿 着 zx, 十 
/一 一 (Zi 十 0 定义 的 直线 出 现 。 

我 们 再 来 考虑 当 9 一 /变化 时 式 (9-240) 的 后 验 分 布 。 等 式 右 边 的 联合 pdf fx(x) 不 随 p 
而 改变 ， 对 这 个 例子 ， 它 只 通过 X AX 与 样本 相关 。 式 (9-240) 左 边 的 先 验 分 布 是 f,(j)， 
它 是 标准 高 斯 pdf。 条 件 pdf fx|, (x|x) 是 NN 个 高 斯 pdf 的 乘积 ， 它 们 都 具有 相同 的 均值 
wo (BAF p 是 变化 的 ,我们 注意 到 一 个 有 趣 的 现象 ;我们 可 将 乘积 中 的 每 个 边缘 pdf 
都 看 做 参数 为 y 的 高 斯 分 布 ， 它 们 均值 都 不 同 ， 由 x 给 定 。( 这 种 样本 和 参数 的 二 元 性 对 
大 多 数 分 布 并 不 存在 。) 由 于 jy 是 变化 的 ， 式 (9-240) 的 右边 是 N 十 1 个 高 斯 pdf 的 乘积 :其 
中 一 个 具有 零 均值 和 单位 方差 ， 其 他 的 N 个 具有 均值 {zx,} 和 相同 的 方差 fz。 等 式 右 边 的 
分 子 面积 不 为 1; 对 fx|, (ele) PREM (x, A. OEE fx(x) 确 保 等 式 左 边 具有 单位 面积 
(考虑 到 jy) 。 为 了 画 出 条 件 pdf 与 u 的 关系 ， 需 要 {x,) 的 一 些 值 。 图 9-11 中 显示 了 N=2 
时 三 个 不 同 (21.22) 集 对 应 的 先 验 和 后 验 分 布 。 
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例 9-34 中 先 验 和 后 验 pdf ， 后 验 pdf 的 最 大 值 分 别 发 生 在 0, —5/3 和 一 10/3 处 。 


图 9-11 


=F © Lı =t: =—5 


x: =Q; b) xı = 0, a= 


a) Tı 
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当然 ， 后 验 分 布依 赖 于 特定 的 样本 值 。 尽 管 由 先 验 分 布 知道 随机 变量 y 的 均值 为 零 ， 
非 零 样本 将 后 验 pdf 向 那些 样本 移动 。 但 是 ， 当 N 变 得 很 大 时 ， 我 们 希望 X 会 趋 近 于 jy 
的 均值 ， 这 样 |x (x|x) 就 会 更 集中 于 零 附 近 ， 方差 就 会 变 得 很 小 。 这 服从 MAP 准则 。 
BEA (9-240) Ho 4885 (ih PE Se TEE MAP 准则 变 为 : 


Fe pe /2) I 








Huap = arg max ae (z cpd [Zot ) 
# 


=arg max exp[ — É /2 — tr hk (9-250) 
“ n=1 


其 中 包括 n 的 常数 项 被 忽略 了 ， 因 为 它 不 对 取 最 大 值 产生 影响 。 通 常 对 指数 函数 取 对 数 是 
比较 方便 的 : 由 于 对 数 是 单调 的 ， EMT EBRI y E. 这 样 





Huap = arg max(— RIZ — (1/20? DE — ° ) (9-251) 
将 这 个 表达 式 对 a 微分 ， 将 结果 等 于 零 ， i 
Pure = = Wa). (9-252) 


其 中 我 们 用 到 了 表达 式 中 的 样本 {X,)， 而 不 是 输出 {z,)。 图 9-11 中 对 三 张 图 中 用 到 的 特定 的 
输出 ， 后 验 pdf 的 最 大 值 出 现在 (zx et a 一 5/3 和 一 10/3 处 。 当 方差 Í BRK 
时 (对 固定 的 N), 估计 器 pp REEF 0， 即 先 验 分 布 的 均值 。 当 2 变 小 时 (意味 着 测量 值 靠 
拢 后 验 分 布 的 jv) ，jwaws 趋 近 于 样本 均值 ， 我 们 在 9. 16 节 看 到 的 就 是 这 个 例子 的 ML 估计 器 。 
EE) 考虑 式 (9-43) 中 指数 族 随机 变量 的 表达 式 。 对 NA iid HHA, MAP 估计 准则 为 





N N 
uap =arg max In( a" ()exp( b00) Deta) ) II d(z,) fə(0)) 


=arg max| NIna(@)) + 6(0) ete, ) 十 In¢ fo(0)) | (9-253) 


其 中 用 到 了 式 (9-243) 的 对 数 运 算 ， 包 含 {d(Cz)} 的 项 被 去 掉 了 ， 因为 它 不 会 影响 最 大 值 。 
假设 {(X,} 具 有 指数 分 布 ， 由 表 9-2 知道 样本 均值 对 9 二 4 是 充分 的 。 实 际 上 ， — 6" 
估计 器 ， 因 为 它 达 到 了 CRLB, # EW g 3k X tP, a(0)=—b(0)=A, c(=z=,)= x,, Tj 
对 4 微分， 将 结果 置 零 得 到 MAP 8H BB ab 2.2 


N/Amar — aE 二 suse) — 0 (9-254) 
其 中 CD) 是 的 一 般 导数 。 设 先 验 分 布 也 是 指数 的 ， 具有 已 知 参 数 Xo: 
Fa Q) = Agexp(— AoA) Lio.) Q) (9-255) 
则 ` 
Esther) =— k= = 7 Xx, to) = X+ A/N (9-256) 
先 验 分 布 的 参数 导致 估计 器 偏离 了 样本 均值 ( 即 UMVU 估计 器 )。 先 验 分 布 随 着 N 的 
增长 ， 影 响 逐 渐 减弱 ， 对 小 的 Xo 也 同样 ， 因 此 fa (4X) 相对 是 比较 平坦 的 。 4 


如 果 MAP 准则 中 不 包括 先 验 分 布 fo (0), 我 们 有 9.16 节 中 描述 的 ML 准则 。 由 
式 (9-253) 可 以 很 明显 看 出 ， 当 fe (0) 为 均匀 分 布 时 ， 它 对 MAP 估计 器 没有 影响 ， 这 种 情 
况 下 MAP 和 ML 准则 相同 (这 通常 是 真 的 ， 而 不 仅仅 对 指数 族 成 立 ) 。 
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考虑 估计 参数 9， 它 的 先 验 分 布 大 (9) 是 未 知 的 ， 不 能 用 MAP 估计 。 对 这 种 情况 ， 我 
们 可 以 设计 一 个 与 MAP 估计 器 相似 的 估计 器 ， 它 不 需要 任何 关于 先 验 分 布 的 信息 。 
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定义 ( 似 然 函数 ) 与 N 个 随机 变量 {X ,… Xs) 相关 的 似 然 函数 是 条 件 pdf: 
I(x;0) 会 fx|e(x|0) (9-257) 
对 数 似 然 函 数 为 : 
L(x;0) 会 log(l(x;0)) (9=258) 
其 中 log(。) 通 常 是 自然 对 数 。 
似 然 函 数 是 针对 样本 (Xi ,… Xn) 的 特定 输出 时 未 知 参 数 0 的 函数 ， 我 们 感 兴 趣 的 是 
使 (x30) 最 大 的 0 的 值 ， 它 是 与 特定 输出 对 应 的 “最 可 能 ”的 值 。 我 们 通常 会 更 多 选择 对 数 
似 然 函 数 ， 因 为 对 数 运算 通常 会 简化 表达 式 ， 这 样 最 大 值 更 容易 找到 ， 就 如 对 指数 族 的 情 
况 一 样 。 由 于 对 数 运 算是 单调 递增 函数 ， 似 然 函 数 和 对 数 似 然 函数 最 大 时 ，0m. 相 同 。 
定义 (ML 估计 器 ) 参数 0 的 ML 估计 器 bw 使 似 然 函 数 L(x;0) 和 对 数 似 然 函数 L (x; 
0) 最 大 。 
如 果 似 然 函 数 对 0 的 导数 存在 ，ML 估计 器 可 由 求解 以 下 式 子 导出 : 





SL 0) = 0 (9-259) 
对 一 个 指数 族 ， 我们 可 以 用 式 (9-253) 的 MAP 的 结论 ， 忽 略 先 验 分 布 得 到 : 
O -WO XY 0 (9-260) 


n=1 


其 中 上 标 表示 的 是 对 9 求 一 般 导数 。 对 例 9-35 中 的 指数 分 布 ， 我 们 得 到 a=, a (0) 一 1， 
b'(0)=1, ((X,)=X,, Alb bu 三 入 。 如 果 导 数 定义 不 明确 ， 则 需要 用 其 他 的 方法 来 找到 使 
似 然 函 数 最 大 的 6。 这 将 在 后 面 分 析 均 匀 分 布 的 样本 时 再 证 明 。 

UERS 我 们 想 估计 已 知 o 的 高 斯 随机 变量 XX 的 均值 jy。 对 NN 个 独立 的 样本 ， 似 然 函 





N 
== lex 1/20° (ax, — y) 


L(xs;p) @ 


=——rysmexp[ 11/22 Ya, =p" ) (9-261) 

图 9-12 中 显示 的 是 N= 2 以 及 与 图 9-11 中 用 到 的 相同 的 (2,21) ) 值 的 似 然 函 数 的 例 

子 。 注 意 到 参数 0 二 jy 时 似 然 函数 不 是 一 个 pdf。 为 了 更 容易 对 图 中 三 个 曲线 进行 比较 ， 对 

它们 都 做 了 归 一 化 ， 使 最 大 值 为 1。 观 察 到 每 条 曲线 的 峰值 出 现在 两 个 样本 值 的 平均 值 处 : 
0， 一 2.5 和 一 5 分 别 对 应 (zi,z,) = {0,0}, (0, —5} 和 {一 55 一 5)}。 对 数 似 然 函数 为 : 





-8 -6 -4 -2 0 2 4 6 8 


图 9-12 对 和 之 的 特定 值 似 然 函 数 与 参数 六 的 关系 (曲线 已 被 归 一 化 ， 使 得 最 大 高 度 为 1) 
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N 
L(xsp) =— (N/2)In(2na*) — z5 2) aa — p) (9-262) 
O n=l 


将 这 个 表达 式 对 jy 微分， 将 结果 置 零 ， 解 出 jw =X. HARA. kt 9-11 
和 图 9-12 中 的 曲线 ;我 们 看 到 MAP 估计 器 (后 验 pdf 的 最 大 值 ) 的 结果 更 靠近 初始 值 ， 因 
为 估计 器 中 用 到 1/(N 十 o) 因 子 。 当 N>, MAP 和 ML 估计 器 相同 ， 此 时 产 的 先 验 





分 布 对 MAP 估计 器 的 影响 被 减弱 ， 因 为 样本 数 非常 巨大 。 < 
GEED 在 例 9-36 中 ， 当 4 已 知 时 ， 为 了 估计 方差 中， 将 式 (9-262) 对 如 微分 ， 得 到 : 
3 N, 1 < 1 
sorb GG) =— 55 + PRJ (z, — p) (9-263) 
将 这 个 结果 置 零 ， 解 出 史 得 到 : 
da. = es sea (9-264) 
这 是 已 知 均值 时 的 样本 方差 。 < 





URED t (XXn) 是 在 [0 一 1/2,0 十 1/2] 上 id 均匀 的 。 似 然 函 数 为 : 
N 
I(x;0) = |[ I+, a) 
n=1 


= [ra-i/2,eri/2J (zo ) Troy2,eHL2 (Tem) ) (9-265) 
其 中 za 和 zw 是 第 一 和 第 N 阶 统 计量 (最 小 和 最 大 )。 通 过 对 样本 排序 , L(x;0) 不 再 依赖 
于 (ze, tia} o 正如 例 9-8 中 所 讨论 的 ， T= [Xo +X. 下 是 0 的 一 个 充分 统计 量 。 实 
际 上 ， 它 是 最 小 充分 统计 量 , 但 不 是 完备 的 。 注 意 到 I(x;0) 不 能 对 0 微分 来 找 ML 估计 
器 。 但 是 ， 通 过 对 L(x;0) 与 9 作 图 ， 如 图 9-13b 所 示 ， 我 们 发 现 它 在 Lew 一 1/2,zo 十 1/2] 
上 等 于 1。 这 可 由 以 下 式 子 推导 得 到 : 





x) =0— 1/2=0 < To + 1⁄2 (9-266) 
xean <0 + 1/22>0 > zw — 1/2 (9-267) 
1 
f(x) 
x 
6-1/2 0 0+1/2 XN)-12 Xt)+1/2 


当 N 足 够 大 ，xiw 接 近 于 
b+1/2，Xn 接 近 于 0-1/2 


a) b) 


图 9-13 例 9-38 的 图 。a) 均匀 pdf; b) 似 然 函 数 ( 它 不 是 一 个 关于 参数 0 的 
pdf) 的 宽度 随 着 N 的 增长 而 变 罕 < 
尽管 在 这 个 结果 中 看 起 来 好 像 将 zu， 和 zw 交换 了 ， 但 请 注意 曲线 是 对 应 的 9。 而 且 ， 
随 着 N 增 大 ,我 们 会 期 望 rm MIF b 十 1/2，xzo 趋 近 于 0 一 1/2， 这 样 图 中 的 矩形 会 变 得 
BLK BRE. ML 估计 对 应 似 然 函数 最 大 ， 对 这 个 例子 ， 最 大 值 不 是 唯一 的 : gm € [Xe 一 
1/2,Xo 十 1/2], 但 它 是 由 一 阶 和 第 N 阶 统 计量 定义 的 。 


9.17 {APR be te oe 


接 下 来 我 们 来 描述 一 个 与 估计 相关 的 基于 似 然 函 数 的 检测 问题 。 在 许多 应 用 中 ， 我 
们 感 兴趣 的 是 : 给 定 随机 变量 的 一 个 或 多 个 样本 ,确定 两 个 模型 中 哪个 最 可 能 正确 。 例 
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如 ， 设 X 为 一 个 可 测 随机 变量 ， 由 它 确定 以 下 模型 是 具有 参数 0, 还 是 9 。 这 个 问题 可 用 
以 下 两 个 假设 来 表征 : 
Hs:X =0, + V (9-268) 
H,:X = + V (9-269) 
其 中 包括 了 加 性 噪声 随机 变量 V. H, 称 为 零 假 设 ， 意 味 着 它 是 缺 省 模型 ， 我 们 的 目标 
是 由 和 确定 0 为 真 ， 而 不 是 6， 当 二 0， 零 假设 意味 着 这 个 例子 中 的 样本 只 包括 
噪声 。 
定义 ( 似 然 比 检验 ) ” 似 然 比 检验 (LRT) 是 
frie, (z |0,) — I(xz;0,) 
fx (z|0.) Kesh) 
其 中 条 件 pdf Z R.B A F F] A 3 Ë 60 4 8 AA, LHAKFRHHAZ-KRBI|B, 
为 了 计算 LRT， 需 要 每 种 假设 下 的 似 然 函 数 ， 由 此 可 以 写作 一 个 xz 的 函数 人 (xz)。 这 
个 结果 与 某 个 门限 2 比较， 人 允许 我 们 判断 一 种 假设 比 另 一 种 假设 的 可 能 性 更 大 。 如 果 
Ay) >y ARR H, 更 有 可 能 出 现 ; 和 否则， 选择 H. WR AG) =C X 为 连续 随机 
变量 时 ， 出 现 的 概率 为 零 )， 检 测 是 不 确定 的 ， 我们 可 以 选择 任 一 种 假设 (例如 ， 通 过 扔 硬 
rR). 
ieee) 设 0.=0. 00 是 非 随机 的 ， 假 设 式 (9-268) 中 的 噪声 V 是 高 斯 的 ， 参 数 为 
(g = 0,0}, 8] LRT 为 


Alr) & (9-270) 








H, 


exp(— (x — 0,)° /2ə 


A(z) = — = exp((20,z= — 0) /2o°) = q (9-271) 
exp(— zx’ /2o° ) Hy 
其 中 分 子 和 分 母 中 的 共同 项 被 消 掉 了 。 对 其 取 对 数 ， 解 出 x， 得 到 了 检测 条 件 : 
三 nn + 6 (9-272) 
H, 1 


如 果 假设 9 之 0， 则 当 除 以 20 时 ， 不 需要 改变 不 等 式 的 方向 。 式 (9-272) 的 右边 给 出 了 丙 
种 判决 的 门限 ， 图 9-14 画 出 了 两 个 不 同 的 了 值 。 当 ?一 1， 两 种 假设 权 值 相等 ， 判 决 门限 
在 两 个 条 件 pdf 的 交叉 处 。 当 7 一 4， 则 更 多 的 权重 在 H, 假设， 判决 门限 移 向 右边 。 输 出 
r 的 样本 出 现在 右 移 了 门限 的 右边 的 可 能 性 就 更 低 了 ， 意 味 着 更 有 可 能 做 出 零 假设 的 章 
决 。 当 >1， 要 做 出 非 零 判决 需要 更 大 的 样本 (这 种 情况 发 生 的 可 能 性 较 少 )。 


fe Po): fe (400) 





图 9-14 例 9-39 中 的 条 件 pdf， 给 出 了 不 同门 限 了 的 边界 ( 竖 线 ) < 
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918 期 望 值 最 大 算法 


期 望 值 最 大 (EMD) 算 法 是 存在 不 可 观察 的 因素 影响 样本 的 情况 下 找到 ML 估计 的 一 种 
递归 的 方法 。 在 传统 的 ML 估计 中 ， 似 然 函 数 1(x;0) ,或 等 价 的 对 数 似 然 函数 L(x;0) 被 用 
来 由 {X!,… Xn) 估计 9。 假设 样本 在 此 意义 下 是 不 完备 的 ， 还 有 其 他 与 {X,} 相 关 的 随机 
变量 。 但 他 们 不 能 直接 测量 。 设 这 些 随机 变量 被 记 为 Y 会 [Yl，…,Yv]。 

考虑 可 测 关 和 不 可 测 Y 的 联合 pdf fxy (x,y;9)。 如 果 Y 也 可 测 ， 则 9 的 ML 估计 器 是 
使 得 联合 pdf RAN X AY 的 函数 。 但 由 于 只 有 关 可 观测 ， 有 可 能 仅 通过 使 fx (x;0) 最 大 
来 估计 9， 这 可 以 被 表示 为 : 


fx (x;0) = K | ferara (9-273) 


基于 可 测 的 样本 实现 的 传统 的 ML 估计 中 不 可 测 的 Y 对 估计 的 影响 被 忽略 了 。 这 样 得 
到 的 估计 的 方差 不 可 能 比 那 种 Y 可 被 观测 而 使 联合 pdf fxy(x,y;0) 最 大 得 到 的 估计 器 的 
方差 小 。EM 算法 通过 采用 两 步 过 程 来 提高 fx(x;0) 的 最 大 值 ， 其 中 0 被 迭代 更 新 (CM 
步 )， 这 样 在 每 次 更 新 之 间 ， 不 可 观测 的 Y 的 分 布 被 估计 (E 2). EM 算法 确保 对 0 的 估计 
得 到 改善 (或 者 至 少 没 有 变 得 更 糟 )， 因 为 在 第 瑟 步 时 用 了 一 个 更 低 的 边界 。 

而 在 传统 的 ML 估计 中 ， 通 常 使 对 数 似 然 函 数 最 大 更 容易 些 : 


log( fx (x;0)) =log(|_ | frry Ddy) 


=log( [" ef fy |x Cy |x 50e [E ]) fx, y0 
—% 一 ca fv|x(y|x;0za[k]) 
其 中 基于 第 次 迭代 ,9 的 EM 估计 的 fe |x O lxh 被 代入 分 子 和 分 母 中 。 将 附录 下 
中 的 杰 森 不 等 式 用 于 等 式 右边 得 到 : 
log fx (x0) <[ | |x Cy|zióa[E]log ALY (9-275) 

则 代 之 以 原来 的 使 log fx (x;0)) 最 大 (只 基于 X), WER BF 0 使 式 (9-275) 右 边 
最 大 ， 而 它 是 基于 羡 和 Y。 这 样 可 由 杰 森 不 等 式 确 保 对 初始 问题 而 言 上 式 右 边 是 一 个 更 低 
的 边界 ， 它 是 式 (9-274) 左 边 的 最 大 值 。 由 于 式 (9-275) 比 值 的 对 数 是 两 个 对 数 的 差 ， 在 最 
大 化 中 可 忽略 分 母 项 ， 因 为 它 与 0 无 关 。 则 得 到 


max| ef fa jx O lX iOm CRD log, fxv (x, y30))dy 
二 maxEr [xau LlogC fxy Cx, y30))] (9-276) 


其 中 期 望 值 是 对 最 近 的 EM 估计 Oem [Lk] 运算 得 到 的 。 最 后 的 结果 描述 了 EM 算法: 由 一 个 
初始 的 估计 9ewL0] 开 始 ， 对 二 1,2,… 则 执行 以 下 两 步 ， 
e 求 期 望 。 计 算 以 下 条 件 期 望 : 


dy) (9-274) 


fem (0,0em [Rk]) & Er | xut Llog( fx.y (x,y;0))] (9-277) 
e 求 最 大 值 。 找 到 使 以 上 期 望 值 最 大 的 0k [Lk 十 11]: 
Oz [k + 1] = max Ẹen (0,Gev Lk]) (9-278) 


算法 在 gev[& 十 1 变化 相对 很 小 时 停止 ， 或 经 过 一 个 预先 设 定 的 步 数 后 停止 。 它 很 容 
易 扩展 到 一 个 向 量 参数 0. 

EM 算法 的 一 个 重要 应 用 是 在 第 4 章 中 讨论 过 的 混合 模型 中 的 参数 估计 问题 。 考 虑 以 
下 有 穷 混合 : 


M 
fxiedi= Sank a Ga) (9-279) 
m= 1 
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其 中 a,>0, Sal, WZ.) PEM, SRAM, TEEM 算法 的 描述 中 ， 未 知 参数 是 


0 = [ansan] ,样本 (Xi,… Xn) 可 测 但 不 完备 。 我 们 还 可 以 在 9 中 包括 {2,) 的 任何 未 
知 参 数 。 习 题 9-28 描述 了 一 个 高 斯 混合 态 ， 其 均值 未 知 ， 也 需要 被 估计 。 为 了 继续 分 析 ， 
必须 定义 不 可 测 样本 。 设 Y, 为 一 个 离散 随机 变量 ， 指 定 Z, 对 第 n 次 观测 z, AB. EA 

fx Y, (Zn m30) = amf z, (£n) (9-280) 
它 是 式 (9-279) 的 第 mm 项 。Y, 的 输出 是 (1,0M), 对 应 {a1,…,am}。 式 (9-280) 对 m RAI 
给 出 了 式 (9-279)z 三 z 的 边缘 pdf。 当 其 中 有 一 个 随机 变量 是 离散 的 ， 如 本 例 中 的 Y,， 我 
们 可 以 写 为 : 


,fxr (coms0) = PCY, = m|X, = 2450) fx (2098) (9-281) 
则 在 EM 算法 中 用 到 的 条 件 分 布 为 : 
¿sf z. E 
P(Y, = m|X, = 2,30) = —— —— (9-282) 
Xa. (x) 


Ft pe st (9-279) (r= zx, ) ASK (9-280) FRA Bl Y R9- 381) th 
(9- 入 全 起 由 的 其 报信 是 高 散光 > 的 和 的 一 个 集合 : 


2 SD ]I Pay, = m, |X, = x, ,em[a)log( TI Fs, y, (x1 471 30)) (9-283) 


=] my=lna=1 


Hp m 用 了 下 标 便于 在 N 次 求 和 中 区 分 ， 下 式 被 代 人 : 


N 
fv|x(y|x;0;a[k]) = [| PCY, = m,|X, = zx, ;0ev Lk]) (9-284) 
n=1 
N 
fy x,y30) = [| fxv, (297150) (9-285) 
l=1 
由 于 
N N 
log( [[ fx,.v, Gu mi; 0) ) = 2 log fx, y, (z; mi; 0)) (9-286) 
[一 1 


式 (9-283) 中 对 的 乘积 中 的 每 一 项 ， N 一 1 项 的 和 等 于 1( 见 习题 9-21)， 则 式 (9-283) 中 的 
表达 式 可 简化 为 : 


p> SPY, = m|X, = xz,;0zu[ E ])log( fx, vy, (z, ,m;0)) (9-287) 
因此 不 再 需要 m 的 下 标 。 ih lia damn 则 对 这 个 混合 问题 EM 代价 函数 为 ， 
ë (0,0ev [k D = > Ev, |x tem Llog( fx y, (z, > Yn; O)) ] (9-288) 


其 中 下 标 由 lemon. RA. HRO 280) 和 式 (9-282) 代 入 得 到 : 
Eev (O, Oem Lk]) a5; Ev, |X, sey) [log(a, fz, (x,)) ] 


aa mLRI Sz. tm) 
= igs sf Prin NE A Neat gy box. (9-289) 
STTS ' DAnLk fz, (=,) 


其 中 @za [k] = [Ai[Lk],…,Av[k]] 是 EM 估计 (这 是 一 个 随机 向 量 ， 因 此 我 们 用 大 写 的 
Aw[Aj] 表 示 ) 。 

为 了 使 这 个 表达 式 在 取 某 个 9 值 时 最 大 ， 我 们 可 以 写 为 loglanfz, (z,))=log(a,)+ 
log( fz, (z))， 省 略 第 二 项 ， 因 为 它 与 6 无关。 得 到 ， 
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N M "A k ( ) M 
êm (00mm [k ]) = > > ste bt fz, fee) glan) = >)B,[R]log(a,) (9-290) 
ak yA [k] /;, Cx,) ait 


其 中 


NA, LR 
BJA >) Sp (9-291) 


{ S1A, [k] fz, (xn) 


是 一 个 随机 系数 ， 它 依赖 于 当前 的 估计 0. [Lk] 和 不 完备 样本 {X,}。 由 于 pdf{ f, (z,)) Ë, 
{BL[k]} 的 值 可 以 用 每 个 新 的 样本 集合 和 9 的 更 新 的 估计 算出 。 这 使 得 对 有 穷 混 合 的 
# E Je em (0,0za [E ]) 的 推导 过 程 更 完备 了 ， 其 中 {av } 是 待 估 参 数 。 
M 步 是 式 (9-290) 的 最 大 化 ， 可 以 用 拉 格 朗 日 乘 子 的 方法 来 约束 {a,}。 修 正 的 代价 函数 为 : 


M M 

Erm (Osem D = > B,[EJlog(a,) +A( >a, —1) (9-292) 

pA E— hd Bl H RS. KEX a, 微分 ， 将 结果 置 零 得 到 更 新 的 估计 : 
B,LE]/A,[k + 1] +A = 0>A,[k +1] =—B,[RI/A (9-293) 

Xf m alain hi HRTF: 
XA, a+ 1] =— 0⁄2) >) B„[k] = 1>,)=— P>;B,Lk] (9-294) 
则 M 步 的 最 大 化 是 ， 
A Tepi] = ~Bel4l] = B req (9-295) 
>s. [k] 


其 中 最 后 的 结果 是 对 式 (9- 291) 求 和 得 到 的 。 参数 估计 的 结果 是 非 负 的 ， 正 如 在 有 穷 混 合 
中 要 求 的 。 如 果 不 是 这 种 情况 ， 对 于 非 负 的 约束 ， 我 们 需要 在 Fim (0,0;a [k ]) 包括 额外 的 
拉 格 朗 日 乘 子 。 

确定 何 时 停止 EM 算法 的 一 种 方法 是 在 每 次 gew[&J] 更 新 后 对 对 数 似 然 函 数 进行 评估 。 
对 上 文中 的 混合 模型 ， 它 可 由 下 式 给 定 : 


L(x;0eu Lk])log( xz)) = > log( >) A,LR] fz, (z,) ) (9-296) 
对 某 些小 的 e， 当 归 一 化 差 值 满 足下 式 时 
D[k]2 (1/N)|L(x;0; [Ë +1) — L(x;0zu k| < e (9-297) 
算法 会 停止 更 新 。 


但 是 ， 由 于 EM 算法 一 般 是 非 线性 的 ， 不 能 确保 它 会 收敛 于 最 佳 解 ; 它 也 可 能 收敛 于 
一 个 局 部 最 大 值 。 


IRE) 考虑 以 下 pdf; 
Fx (ax) = (0. 2) 








1 1 
exp(— (z + 1)?/2) + (0. 8) exp(— (x — 12 /8) (9-298) 
V2n 8r 


它 是 已 知 参数 分 别 为 (uy, =— l, = 1) 和 (u, = 1,0s = 2) 的 两 个 高 斯 pdf 的 一 个 有 限 混合 ， 
如 图 9-15a 所 示 。 由 N=1000 个 混合 样本 ， 我 们 用 EM 算法 来 估计 9= [asa] = [0.2， 
0. 8]"。 仿真 中 首先 得 到 一 个 在 [0,1] 上 均匀 分 布 的 样本 wv。 如 果 v<ai 王 0.2， 可 由 第 一 个 高 
斯 pdf 导出 一 个 样本 ; 否则， 由 第 二 个 高 斯 pdf 导出 一 个 样本 。 这 种 双重 的 随机 性 可 从 混合 
高 斯 中 产生 1000 个 样本 。 由 初始 条 件 GewL0] = [0.5,0.5] 开始 ，EM 算法 用 式 (9-291) 和 
式 (9-295) 的 方程 反复 更 新 Gew[k]。 图 9-15b 显示 了 轨迹 (现实 )， 我 们 看 到 EM 算法 很 快 收敛 
到 正确 的 权 值 。 差 值 Dikj] 的 一 个 现实 也 显示 在 图 中 ， 最 终 估计 的 混合 由 图 9-15b 中 给 出 。 
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-5 0 5 
x 


a) b) 


图 9-15 fi) 9-40 中 对 有 穷 混 合 的 EM 算法 的 结果 。a) 实际 的 和 估计 的 高 斯 混合 和 估计 ; b) 参数 
(A,[k],A,[k]) 的 收敛 性 和 对 数 似 然 性 能 测度 DL[k]( 它 非常 接近 于 零 ) 4 


在 第 12 章 ， 我 们 会 检测 其 他 类 型 的 自 适 应 算法 来 找到 使 代价 函数 最 小 的 方法 ， 比 如 MSE。 
919 AK 


EHA (MoM) St —- FS MHRA, £F] T AK E, EW H LS IK ES, KW 
于 分 布 参数 。 由 第 5 章 可 知 随机 变量 X É) m 阶 原点 矩 为 : 
Pm 全 ELX"] (9-299) 





BE Wa AS EAS A : 
yma l m 
X a > Xi (9-300) 


对 任意 pdf fx (z), 我们 知道 p Syys p Sox px, HP (py 0x) 是 分 布 的 集合 均值 
和 方差 。 对 MoM 估计 ， 用 以 下 方程 解 出 uy Mlok: 

X= p, = ys X = m = ak +k (9-301) 

它 生 成 了 以 下 估计 : 
te Ro fon =X = NX NIN (9-302) 
其 中 S* 是 样本 方差 。 对 高 斯 随机 变量 ,jy Alok 明确 地 出 现在 pdf 中 ， 因 此 均值 和 方差 的 
估计 可 直接 由 式 (9-302) 得 到 。 结 果 显 示 ML 估计 与 式 (9-302) 得 到 的 结果 相同 ， 对 于 其 他 

分 布 情况 通常 不 同 。 


UERD Swe. FRA lar}, HRA: 











ELX] =m, CX T= le’ (9-303) 
将 其 等 于 样本 矩 ， 解 出 参数 得 到 
wi + t 
QMoM — x = ° TMoM 一 = = (9-304) 
对 ML 估计 ， 似 然 函数 为 : 
1 N N 
l(x;asr) 一 Fares ocd a oe /a) II (9-305) 


对 数 似 然 函 数 为 : 
L (xiayr) =— Nein 二 PCD] 一 Go Da, +e- D Synz) (9-306) 


将 这 个 表达 式 对 每 个 参数 (asr) 微分 ， HARES, 我 们 看 到 不 可 能 得 到 一 个 r+ 的 信 
计 的 闭 集 表达 式 ， 因 此 我 们 只 关注 a: 
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QL xiavz) => Nat (N/a = 0 (9-307) 
C 
HEARNE: 
au, = X/r (9-308) 
这 是 已 知 六 时 的 ME 估计 器 ， 也 是 在 已 知 r 时 wa 的 MoM 估计 器 的 结果 。 < 


920 最 小 二 乘 估计 


假设 参数 向 量 0 € RM 的 信息 是 通过 以 下 的 测量 模型 得 到 的 : 
Y=a'0+V (9-309) 
其 中 Y 是 一 个 随机 变量 ，a 是 一 个 已 知 向 量 ，V 是 一 个 无 法 观测 的 加 性 噪声 随机 变量 。 这 
是 之 前 讨论 过 的 简单 模型 了 Y 王 X+V 的 扩展 ,和 是 一 个 随机 变量 。 如 果 6 为 一 个 随机 向 量 ， 
则 在 最 小 二 乘 (LS) 估 计 中 不 需 考 虑 它 的 分 布 。 假 设 有 NN 个 iid 样 本 Y 会 [Yi eY] o 
Y = A0 + V (9-310) 
RPV AV, Vy)". 
A4[a,,°,an]7 € RNM (9-311) 
通常 ， 样 本 的 数目 要 远 超 参数 的 数目 ， 即 NM, W) A 是 一 个 又 高 又 窗 的 矩阵。 设 
YSA 6 是 基于 参数 估计 6 的 测量 的 估计 ， 定 义 估计 误差 为 Y=Y 一 Y 
定义 (加 权 LS HHS) ”参数 向 量 9 的 加 权 LS 估计 器 (WLS) 为 : 
OQwis = min Y WY (9-312) 
R P WER 2 pa X 3E k , 
JII RE PE BJ A J a rR M te pe K. Jin, AOR 6 正好 是 随时 间 而 改变 ， 那 么 对 更 近 
的 样本 更 重视 则 显然 更 有 利 。 


代价 函数 为 : 
wus AY’ WY = Y!WY — 2YTWA0 十 0I4TWA40 (9-313) 
它 是 6 的 二 次 函数 。 通 过 对 9 微分 并 将 结果 置 为 零 向 量 很 容易 得 到 最 小 值 ， 
A'WAQwis = A WY (9-314) 


HH ATWA ER, WAERY™, Wmi AWA 是 满 秩 的 ( 王 M) ， 则 它 是 可 逆 的 ， 因 此 估计 
器 为 : 
Owis = (ATWA ) 'ATWY (9-315) 
>4 TA EB E A EAE EBI WSI T, 4333626 LS 估计 。 
考虑 最 简单 的 情况 ， 即 0—0 为 一 个 标量 (M 二 1)， 测量 模型 为 
Y=0+V (9-316) 
其 中 V 具 有 零 均 值 。 假设 N 次 测量 ,，W= 二 TI， 变量 为 


G = 1,A = (1, 91 J! ATA = N,A'Y 二 SY, (9-317) 

则 LS 估计 器 为 样本 均值 : Gis=Y < 
接 下 来 ， 设 测量 模型 稍微 复杂 些 

Y = X9 + V (9-318) 


其 中 参数 仍 为 一 个 标量 ， 但 其 乘 以 了 一 个 与 V M20230 M J EE X, RW N 次 测 
量 ， a,= X, 


N N 
A=[X1; Xn] ATA = >1X:,ATY = 5) X,Y, (9-319) 
n=] n=1 
它 给 出 了 以 下 的 LS 估计 器 : 
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YY, s 
ç = = = — whe 9-320) 
Ois x u vx 2 X ( 


这 个 结果 就 是 大 家 熟知 的 在 线性 回归 中 得 到 的 准则 ， 即 如 何 确定 N 个 样本 对 (X, , 
Y,} 的 最 佳 线性 拟 合 的 准则 。 分 子 是 确定 的 两 个 样本 集 的 互相 关 ， 分 母 是 X 的 样本 的 二 阶 
Æ. BL9-16 显示 的 是 N= 二 100 时 这 个 结论 的 一 个 示例 ， 其 中 {X,) 是 iid 标准 高 斯 分 布 。 品 
J V 也 是 零 均 值 的 iid 高 斯 型 ， 但 方差 稍 小 ， 为 0.5。 未 知 参数 是 9 二 2， 图 中 的 直线 是 YY 二 
OsX, HA RH Gls 二 1. 9219， 因 此 给 出 了 样本 的 正确 的 拟 合 。 观 察 到 直线 正如 所 料 穿 过 
了 原点 ， 因 为 模型 中 并 没有 包括 纵 坐 标 项 ， 如 例 9-44 中 所 描述 的 。 





-25 -2 -15 -1 -0.5 0 0.5 1 1.5 
x 


9-16 fj 9-43 和 例 9-44 的 线性 回归 模型 < 





Y = h +0,X +V (9=321) 


N 
A =| aN ] ATY = ar =N š N (9-322) 
Xy et i l Y (1/N) >) X.Y, 





N 
‘i 
N Y Be ç 
ATAS y yt = N| : (9-323) 
5x Yx x S 
=] n=] 
两 个 LS 估计 为 : 
N 
isa =+ [XY — QO/N)XDX,Y,] (9-324) 
a=1 


1 ` = 
Gis. = [S/N X X.Y. — XY] (9-325) 


BIE 充分 统计 量 和 参数 估计 


其 中 A AX? -X (9-326) 
为 (1/N)47IA 的 行列 式 。 对 应 0 三 一 6 和 的 二 2 的 这 种 情况 的 仿真 也 在 图 9-16 中 显示 ( 标 上 
了 两 个 参数 )， 用 了 与 例 9-43 中 一 样 的 {X,Y,} FA. BRERA: 

Y = Osa +01s.2X (9-327) 
它 不 经 过 原点 : 估计 值 js,; =1.9210 和 Gis,1 二 一 6.0252 非常 接近 模型 值 。 最 后 ， 由 于 X 
的 均值 为 零 ， 我 们 可 以 预期 对 于 大 的 N， 这 两 个 参数 估计 的 第 二 项 ， 会 如 A 的 第 三 项 一 样 
近似 为 零 。 将 X=a0 代入 ， 估 计 简 化 为 : 





二 TS ` 
fisi == Y, bise ~ NY (9-328) 
斜率 GLs.z 与 例 9-43 中 一 样 ， 纵 坐标 is.1 是 Y 的 样本 均值 ， 这 正 是 预期 的 结果 ， 因 为 
模型 中 的 X 和 人 都 是 零 均 值 。 < 
对 多 重 线 性 回归 ， 目标 是 找到 以 下 模型 的 参数 {Oi u) 
M 
Y= J oX ehy (9-329) 


这 个 模型 在 我 们 看 来 是 例 9-44 中 模型 的 扩展 ， 包 括 了 几 个 随机 变量 (X i, . Xu}. 

对 N 个 样本 ， 它 与 之 前 式 (9-310) 中 描述 的 模型 相似 

Xu gaq Xim 
A=|i = 3 (9-330) 

Xs = XNw 
其 中 (Xino Xn) EB m 个 随机 变量 X,, 的 NN 个 样本 。 

考虑 以 下 包括 Hald 数据 (Hald，1952) 的 矩阵 (由 MATLAB 得 到 )， 其 中 N= 
13 个 测量 值 ，M 一 4 个 变量 
Tb BL Z Rl L Jit O 
26 29 56 31 52 55 71" 31 S4 47 40 66 , 68 
6 15. 8 8G. BB TTA Te 4° 23 ¿9 ad 
60 62 20 47° 33 22' 6 44 22 26 34 12 12 

对 应 4 的 Hald 数据 的 输出 的 测量 值 为 : 
Y = (78.5,74. 3,104. 3,87. 6,95. 9,109. 2,102. 7,72. 5,93. 1,115. 9,83..8,113. 3,109. 4]" 


(9-332) 








A’ = (9-331) 


因此 
1139 4922 769 2620 
4922 33050 7201 15739 
769 7201 2293 4628 
620 15739 4628 15062 
bs =[2. 1930,1. 1533,0. 7585,0. 4863 ]" < 
这 一 节 我 们 通过 对 主 分 量 分 析 ( 这 个 技术 可 用 来 产生 一 个 降 阶 的 LS 估计 ) 的 简要 讨论 
得 到 一 些 结论 。 在 关于 线性 回归 和 LS 估计 中 ， 它 被 称 为 主 成 分 回归 (PCR)。 由 于 随机 变 
B (X, Xu) 可 能 不 是 零 均 值 ， 有 必要 将 样本 均值 从 A 的 元 素 中 减 掉 来 计算 在 PCR 中 
用 到 的 样本 的 协 方差 阵 。 样 本 均值 可 以 表示 为 下 式 : 
X = (1/N)AT1 (9-334) 
其 中 1ERAN 是 一 个 全 1 向量， 比例 因 子 1/N 14X 无 偏 。 则 由 六 用 克 罗 内 克 积 构成 一 个 
和 矩阵 ( 见 附录 G): 


AA = , A'Y = [10032,62028,13982,34733]" (9-333) 


M = 1 Xt (9-335) 
M 的 第 一 列 是 重复 N 次 的 Xi 的 样本 均值 ，M 其 他 列 和 X, 也 同样 。 因 此 ， 样 本 的 协 方差 
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阵 为 
Cx = iA—M)"(A—M) (9-336) 
其 中 包括 了 比例 因子 1/(N 一 1)， 这 样 它 是 无 偏 的 。 对 Cxx 特征 分 解 得 到 : 
Cxx = 040- (9-337) 


其 中 A 包括 Cx 特征 值 ，Q 的 列 是 相应 的 特征 向 量 。 
接 下 来 ， 我 们 将 初始 数据 变换 为 也 全 4O， 将 式 (9-310) 中 模型 重 写 为 如 下 : 


Y = A00 !0 + V = B0,c, + V (9-338) 
其 中 becA 全 0 :0。 这 个 修正 模型 的 LS 估计 为 : 
OQpcais = (BTB) 1B'TY (9-339) 


它 与 原始 的 LS 解 相同 ， 因 为 
OO eca.cs =Q(Q'ATAQ) 'Q'A'Y 
(MT A) AY = 0; (9-340) 
由 特征 分 解 ， 我 们 可 决定 保留 与 4 WJ L< M 最 大 的 特征 值 对 应 的 特征 向 量 。 设 矩阵 为 
Ora €C RM, 定义 BecaAQrca ER. 得 到 降 阶 的 模型 ; 
Y = BrcaOpca + V (9-341) 
当前 Orca ER. LS 解 为 : 
Qis.pca = (Beca Breca) 'B;cAY (9-342) 
W Et [EJ BE BJ ii hH AY = Brea Ors.pca 。 但 我 们 还 应 该 注意 到 与 小 的 特征 值 对 应 的 特征 向 量 也 是 
重要 的 ， 这 取决 于 A 和 Y， 因 此 忽略 这 些 分 量 并 不 总 是 会 带 来 好 处 (Jolliffe，1982)。 
对 例 9-45 的 Hald 数据 ， 样 本 均值 为 : 





X = [7. 4615,48. 1538,11. 7692,30. 0000 ]" (9-343) 
样本 的 协 方差 阵 为 : 
34. 6026 20.9231 —31.0513 — 24.1667 
a — | 20.9231 242.1410 — 13. 8782 — 253. 4167 (6-344) 
"1 — 31.0513 —13,8782 41.0256 3. 1667 


— 24.1667 — 253. 4167 3.1667 280.1667 
对 Cx 做 特征 分 解 得 到 以 下 特征 向 量 矩 阵 : 
— 0.0678 0.6460 一 0.5673 0.5062 
— 0.6785 0.0200 0.5440 0.4933 
„Q= | 9.0290 —0.7553 —0. 4036 0.5156 snara 
0.7309 0.1085 0.4684 0.4844 
Ae HE EE A R. xF fH 31517.7969, 67.4964, 12.4054, 0.2372), H 3F48 Ma~ 


2183， 我 们 可 以 忽略 与 特征 值 0.2372 对 应 的 第 四 个 特征 向 量 。 只 为 QecA 保 留 Q 的 前 三 列 


得 到 : 
476), —21. — 4435 
Bica Bres = =AL , 810 60|, BrcaY = [— 16976929,38677]" (9-346) 
— 4435 60 12855 
O:s.pca =L—0. 5830, 0.9227, 2.8032]. < 


9.21 LS 估计 器 的 性 质 

在 这 节 中 ， 我 们 给 出 式 (9-315) 中 的 加 权 LS 估计 器 的 某 些 特 性 ， 用 到 式 (9-311) 中 的 矩阵 4。 
9. Zi. 1 最 小 EwLs 

将 WLS 估计 器 代入 式 (9-313) 中 得 到 : 


RIE 充分 统计 量 和 参数 估计 


Ewismin ~Y WY — 2Y'WA(A'WA) 'AT™WY 
+Y WIA(AT™WA) !ATWA (ATWA) ATWY 

=Y™WY 一 YTW4 (AWA ) 'ATWY 

=YTWY 一 YTWA4bws (9-347) 
其 中 假设 W=W'' 为 对 称 的 。 代 入 LS 参数 导致 扩展 式 中 的 第 三 项 被 消去 ， 没 有 进一步 简 
化 的 可 能 后 在 最 后 一 个 表达 式 中 插入 Ows. Wj 9-44 中 WW=I 时 的 LS 代价 函数 和 As 的 曲线 
在 图 9-17a 中 给 出 。 它 具有 凸 的 二 次 型 ， 最 小 值 靠 近 0 = [2, — 6]. 注意 到 &wis 不 是 一 个 
集合 值 ; 它 是 一 个 样本 的 函数 ， 因 此 曲线 会 随 着 X 和 YY 不 同 的 输出 而 改变 。 但是， 对 于 
大 的 N. 最 小 值 的 基本 形状 和 位 置 在 图 中 给 出 了 。 





0, -2 -2 A, 
b) 


图 9-17 例 9-44 的 LS 代价 函数 。a) IE APSE ATA; b) 奇异 A 4， 因此 不 存在 唯一 的 最 小 值 





9.21.2 唯一 性 
LS 解答 是 唯一 的 ， 如 果 A 是 满 秩 的 ，sws 有 唯一 的 最 小 值 ， 意 味 着 它 有 M 个 线性 独 
立 的 列 。 当 这 种 情况 发 生 时 (类 似 于 N>>M), ATA 是 非 奇异 的 ， 它 的 道 存在 。 图 9-17b 
给 出 了 当 A 不 是 满 秩 时 代价 函数 的 一 个 例子 ; 它 不 再 是 二 次 型 并 且 沿 着 图 中 的 止 模具 有 无 
穷 个 解 。 这 个 例子 是 人 为 改变 例 9-44 中 的 4 来 创造 的 ， 因 此 它 的 第 二 列 是 第 一 列 的 三 倍 。 
这 导致 了 图 9-17b “BLE” HHE Bias iH BM Y TBA, BD EE] 9-17b 中 最 小 wes 对 应 的 任意 
点 都 是 一 个 解 ， 对 应 的 G1s 也 不 再 是 8 的 一 个 好 的 估计 ， 得 到 的 直线 不 能 正确 的 对 数据 
建 模 。 
9.21.3 正 交 性 
重 写 WLS 参数 的 表达 式 得 到 : 
4IWY — A’WAOwis = ATW(Y — Ab wis) = A'W F ys = 0 (9-348) 
其 中 Ys 是 在 WLS 解答 中 评估 的 估计 误差 向 量 ，0ERw 是 一 个 零 向 量 。 这 个 表达 式 证 明 对 
WLS 参数 向 量 ，A( 被 WW 加 权 的 ) 的 列 与 估计 误差 向 量 正 交 。 如 果 这 个 表达 式 的 左边 乘 上 
Ows: 则 
Ornis A'W Fms = Y W Ysas = 0 (9-349) 
因此 WLS 估计 器 和 估计 误差 向 量 也 是 正 交 的 。 对 应 W= 了 的 这 个 关系 在 图 9-18 中 描述 了 。 
Y 不 在 A 的 列 空间 (范围 ) 中 ; 否则 ， 它 将 被 很 好 地 估计 出 。 估 计 的 输出 六 必定 在 A 的 列 
空间 中 ， 因 为 它 是 通过 Ose A 的 列 加 权 求 和 得 到 的 。 显 然 , 了 可 以 是 A 范围 内 任意 向 量 ， 
但 是 图 说 明了 最 好 的 向 量 是 与 误差 Yis 正 交 的 ， 因 为 Ys Yis (向 量 模 平方 ) 是 最 小 的 。 
图 9-19 显 示 的 是 N=2 个 样本 和 M=1 个 参数 时 特定 的 例子 (这 样 A 是 一 个 列 向 量 )， 证 明 
向 量 是 正 交 的 ， 即 使 只 有 少量 的 样本 ; 正 交 原理 是 LS 估计 的 一 个 确定 特性 ， 不 只 对 应 大 
FEA 
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由 A 的 列 张 成 的 





~ 4 A 
向 量子 空间 Yus j mus 
2 
估计 一 定 在 1 yY 一 定 与 A 线 性 对 应 
A 的 范围 内 ， GLs=ATY/ATA=3 
£ 对 A 进 行 缩放 来 估计 Y 
12 3 4 
图 9-18 LS 正 交 条 件 的 向 量 空间 解释 图 9-19 二 维 空间 中 LS 正 交 条 件 的 数字 示例 
9.21.4 无 偏 性 


对 于 其 他 的 特性 ， 假 设 Y 是 用 式 (9-310) 中 的 模型 产生 的 。 但 是 ，LS 估计 本 身 并 不 需 
要 样本 以 这 种 方式 产生 ; Qis 是 一 个 数据 的 线性 组 合 ， 可 能 只 是 描述 8 和 Y 是 如 何 实际 相关 
的 一 个 大 致 的 模型 。 

观察 到 如 果 V 具有 零 均值 ， 则 91s 是 无 偏 的 : 

E[@:s] =(A™A) TAT g[Y] 
=(ATA)'1ATA0 + (ATA) A" E[V] = 0 (9-350) 
其 中 A 被 提 到 期 望 值 外 面 ， 因 为 它 是 可 测 的 (这 可 通过 用 一 个 以 A 为 条 件 的 期 望 值 来 
强调 。) 
9.21.5 协 方差 矩阵 
由 上 式 的 第 二 行 ， 即 在 求 期 望 前 ， 基 于 式 (9-310) 的 模型 的 LS 估计 器 为 : 
bs = 0+ (ATA) ATV (9-351) 
减 去 6( 它 为 均值 ， 因 为 估计 器 是 无 偏 的 ) ， 我 们 可 将 协 方差 矩阵 写 做 : 
E[ (Ors — 0) Os — 0)" ] =E[ (ATA) !ATVVTA(ATA) 1) 
=(ATA) A" €[VV" JA(ATA)! 


= (ATA A Re AGA ADT! (9-352) 
为 继续 分 析 问 题 ， 假 设 V 是 不 相关 的 ， 则 Rw =o , 
cov[Qis| = av (ATA)! (9-353) 


这 个 结果 不 仅 如 预测 的 依赖 于 噪声 方差 ， 还 依赖 于 确定 的 自 相 关 和 矩阵 ATA, 
9.21.6 AZU: 得 到 CRLB 

LS 估计 器 在 假设 V 是 零 均值 、 高 斯 的 和 不 相关 条 件 下 得 到 CRLB。LS 模型 的 Fisher 
信息 和 矩阵 是 


T(0) A ) ] (9-354) 


其 中 f, (V)E V WKS pdf. OER, MEO 中 参数 的 数目 。 对 于 以 上 Rw =oçl 的 
假设 ， 它 可 以 直接 计算 对 数 ; 


Infy(V) = In( TT fu V.)) = n(o) = a Div: (9-355) 
其 中 第 一 个 等 式 用 到 了 独立 性 ， 第 二 个 等 式 用 到 了 高 斯 假设 。 E 
fe) l Or <T ƏV ü a 
Shir) =— zs aY YV al aa y (9-356) 


其 中 求 和 被 求 内 积 取代 ， 用 到 了 附录 G PA Br k zy eE. HT Y=A0-4V, RB 
RE: 
ƏV _ Ə(Y—A0) gr k 
= Se (9-357) 
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o0 o0 ov 
显示 LS 估计 器 的 协 方差 阵 达 到 CRLB 边界 ZT (0) =o; (AA") 1. PT AMR V AY LS ff 
计 器 是 最 优 线性 无 偏 (BLU) 估 计 器 ， 意 味 着 它 在 所 有 无 偏 线性 估计 器 中 方差 最 小 ， 接 下 来 
将 给 出 证 明 。 
9.21.7 BLU 估计 器 


设 6 为 8 的 任意 无 偏 估计 器 ， 它 可 被 写 为 Y 的 线性 组 合 ， 如 下 所 示 : 


T 
te 2+ aaa wr" |= 14 e[VVT]AT = TAAT (9-358) 
ov Ov 


ae 6 = BY (9-359) 
其 中 BER’ (为 一 个 与 4 类 似 的 宽 矩 阵 ) 。 这 个 估计 器 的 期 望 为 : 
EC] = B ELY] = BA0 + B E[V] = BAO (9-360) 


为 了 实现 无 偏 需要 BA=1, HP IER “是 一 个 单位 和 矩阵。 通常 ， 我 们 不 能 确切 的 解 出 如 
来 ， 因 为 一 般 N>M. HF bs 是 一 个 向 量 ， 协 方差 最 小 意味 着 : 


cov @:s ] — cov[ 6] > 0 (9-361) 
不 等 式 表明 了 左边 的 矩阵 至 少 是 PSD 的 : 对 任意 非 零 向 量 w € RM, 

ul(cov[0.s ] — cov[0])u > 0 (9-362) 

为 了 得 到 6 的 协 方差 矩阵 ， 注 意 到 由 式 (9-360) : 
6 = 0+ BV (9-363) 

因此 

cov[b = €L(@—0)(@— 0)" ] 一 BELYVVT]BT = of BB" (9-364) 

从 每 个 估计 器 中 减 掉 均 值 ， 得 到 以 下 误差 向 量 : 
E = [L(A'A) JAY. — 0] — LBY — 0] = (ATA) ATV — BV (9-365) 


其 中 0 项 被 消去 了 ， 因 为 所 有 的 估计 器 都 是 无 偏 的 。 误 差 向 量 的 协 方差 矩 阵 Ras 一 ELEE” 为 
Ræ =[(ATA) A" — Ble[VV" ][(ATA) AT — B]" 

=0[ (ATA) AT ((ATA) AT)" — (ATA) ATB" — B((ATA) AT)" + BB" ] 

=o [BB" — (A"A)`' ] (9-366) 
其 中 第 二 行 等 式 中 的 前 三 项 合成 了 一 项 ， 因 为 BASA'B' =I, BELMA. AF Re 是 协 
方差 矩阵 ， 它 至 少 是 PSD， 则 

R. = cov[ĝ] — cov[0,s ] > 0 (9-367) 

这 证 明了 LS 估计 器 具有 最 小 协 方差 : 当 Rw =o BF, CR BLU 估计 器 。 如 果 噪 声 向 量 
V 也 是 高 斯 的 ，LS 估计 器 是 所 有 线性 和 非 线性 估计 器 中 最 优 的 无 偏 估 计 器 。 


9.22 最 优 线性 无 偏 估计 


在 9. 21 节 中 ， 我 们 假设 Rw 二 ovI， 因 此 LS 估计 器 是 BLU 估计 器 。 当 噪声 的 协 方差 
矩阵 不 具有 对 角 阵 形式 ， 它 仍 可 用 加 权 和 矩阵 WR 构造 的 WLS 来 得 到 BLU 估计 。 最 终 
的 估计 器 是 ， 

和 (9-368) 
这 个 结果 可 在 以 下 条 件 中 采用 一 个 约束 的 最 优化 推导 得 到 。 
e Y 的 观测 模型 由 式 (9-310) 给 出 ， 其 中 6ERY 是 非 随 机 的 ,但 为 未 知 量 ，A E RN 
是 已 知 的 (可 测 的 ) ，YER” 是 一 个 随机 向 量 ， 均 值 为 零 ， 协 方差 矩阵 Rw ERY 

e BLU 估计 器 的 形式 是 测量 值 的 线性 组 合 : 

Osu = BY (9-369) 
其 中 BERN, 
e 它 是 无 偏 的 : 
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£€[0s ] = £[B(A0 + V)] = BAG + £[V ] = BAO (9-370) 
需要 BA=I, 
e 它 具 有 最 小 协 方差 covLbsiu ]。 目 标 是 解 出 以 下 的 约束 最 小 值 : 
Osu = arg min cov[ Osu | s. t. BA = I (9-371) 
用 这 些 假设 ， 我 们 继续 推导 BLU 估计 器 。 由 于 它 是 无 偏 的 ， 我 们 可 以 写 做 : 
Qaru = 0 + BV (9-372) 


因此 
cov Osu | = EL (Oaiu — 0) (Osru — 0)" ] = B £[VVTJB' = BRwBT (9-373) 
将 以 上 形式 的 协 方差 矩阵 最 小 化 等 同 于 使 其 迹 最 小 化 : 


min tr[BRyBT]s.t. BA = I (9-374) 
则 BLU 估计 器 的 代价 函数 为 : 
人 iu 全 trLBRwB7] (9-375) 
ENDLER” 为 B 的 第 m 行 ， 迹 中 的 每 个 元 素 按 下 式 被 最 小 化 : 
min(b,,.Rwb » 十 [bliA — e! An) (9-376) 


其 中 e, € RM 为 单位 向 量 , 第 m THEW 1, an ERY 是 一 个 拉 格 朗 日 乘 子 向 量 。 
用 附录 G 中 的 微分 法 则 ， 
d 


5p, bt"Rwb, + ODIA — ean) = 2Rwb, + A n (9-377) 
将 其 置 零 ， 解 出 : 
b,, =— (1/2)RWAA» (9-378) 
将 这 个 结果 代入 约束 条 件 ， 得 到 一 个 拉 格 朗 日 乘 子 的 表达 式 : 
— (1/2)ATRWAA, = €n>A, =— 2(ATRZA) e, (9-379) 
因此 式 (9-378) 变 为 : 
x = RRA (ATRRA) e, (9-380) 
这 个 表达 式 正 好 满足 约束 条 件 : 
I DTA = eL (A' READ A RWA = er (9-381) 
由 于 b; 是 Ba BJ— íT, b, 是 Bau 的 一 列 。 我 们 得 到 
B = [birbu] = RAAGCA RRA) [el see] (9-382) 
其 中 [Le een SIER 是 一 个 单位 矩阵 。 因 此 
B = (ATR%A) AT Rọ (9-383) 


则 得 到 式 (9-368) 中 的 BLU 估计 器 。 估 计 的 样本 用 Y= 二 AQaru 产 生 。 
注意 到 它 与 LS 和 WLS 估计 器 不 同 ，BLU 估计 器 是 基于 YY 的 基础 模型 ， 加 性 噪声 的 
协 方差 阵 Rw 假 设 是 已 知 的 。gsuo 的 代价 函数 Seo 不 直接 包括 Y。LS 和 WLS 的 代价 函数 的 
最 小 化 是 对 参数 向 量 0 进行 的 操作 ， 但 这 里 是 对 bamu 的 行进 行 操 作 。 样 本 只 在 式 (9-369) 中 
bs 的 估计 中 出 现 。 因 此 BLU 估计 器 在 实际 中 通常 不 是 很 有 用 。LS Al WLS 估计 器 应 用 
的 更 广泛 ， 因 为 它们 不 需要 关于 YY 的 基础 模型 。 以 前 用 到 的 模型 只 是 用 来 推导 LS 和 WLS 
估计 器 的 某 些 特性 ， 假 设 它 是 样本 在 实际 中 如 何 产生 的 一 个 有 效 的 代表 。 可 能 BLU 估计 
器 最 重要 的 特点 是 LS 和 WLS 估计 器 可 得 到 其 性 能 ;正如 第 9.23 节 中 总 结 的 ， 它 们 在 某 
些 条 件 下 是 相同 的 估计 器 。 
ED M=2 时 B 的 第 一 行 的 代价 函数 &aLu， 5 bi =bn, ba] 对 应 ， 对 小 的 样本 
数 N=2 的 一 个 例子 在 图 9-20a 中 显示 。 噪 声 的 协 方差 阵 为 : 
Ry = Ë >] (9-384) 
观察 到 平面 是 二 次 型 的 ， 约 束 是 平面 的 ， 与 碗 形 的 平面 相交 。 有 效 的 BLU 估计 器 的 
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解 出 现在 约束 平面 与 bi 一 bis 平面 在 Savi =0 的 相交 处 ， 以 满足 约束 。 二 次 函数 的 最 优 值 


为 平面 的 最 小 值 ， 位 于 两 个 平面 相交 的 上 面 ， 用 箭头 标记 了 。 在 图 9-20b 中 ， 约 束 平面 被 
最 优 权 值 评估 的 代价 函数 抬 高 ， 显 示 它 们 在 Gatu 处 相交 。 这 种 图 形 对 包括 一 个 二 次 型 的 代 
价 函数 和 参数 服从 线性 约束 的 约束 优化 问题 是 非常 典型 的 。 





b) 


图 9-20 -N=2 时 BLU 估计 器 的 代价 函数 和 约束 平面 。a) 代价 函数 的 真实 位 置 和 与 bi 一 加 平面 在 零 水 
平面 相关 的 约束 平面 ; b) 为 了 显示 两 个 函数 在 bru (由 箭头 给 定 ) 处 相交 ， 约 束 平面 被 最 优 权 值 
处 的 代价 函数 值 拾 高 ， 去 掉 了 零 水 平面 的 b. — b, F Bl < 


再 次 考虑 式 (9-318) 中 的 单 参数 模型 (M 二 1)， 假 设 加 性 噪声 向 量具 有 非 零 元 


素 {o%,} 的 对 角 线 协 方差 阵 。 我 们 将 证 明 LS 和 BLU 估计 器 在 噪声 的 方差 随 样 本 改变 时 的 
不 同 。 对 这 种 情况 ， 式 (9-383) 中 可 逆 项 为 ; 





a 
A'RAA = FIK ia (9-385) 
n=] 
因此 
p= aT lakas >Xn/ov.n ] = b! (9-386) 
>; x; /at,, 
n=] 
它 是 对 应 单一 参数 的 一 个 行 向 量 。 给 出 如 下 的 BLU 估计 器 : 
k 
ERY Ik. 
Gay = = L (9-887) 
bh Xš /ov 


当 {o%.,) 为 相同 值 时 简化 为 式 (9-320) 中 的 ss- 对 一 般 情况 ， 在 BLU 估计 器 中 具有 更 大 噪声 方 
差 的 样本 的 权重 更 小 。 图 9-21a 中 显示 的 是 M=1 对 应 的 BLU 和 LS 估计 器 生成 的 示例 线条 ， 
N=100 样本 的 噪声 方差 在 [0,10] 上 均匀 分 布 。 两 个 线条 不 相同 ， 因 为 BLU 估计 器 考虑 了 品 
声 方差 随 样 本 的 改变 。 真 实 的 参数 值 是 9=2， 两 个 估计 是 Qs 二 1. 5657 和 G81u 二 1. 9362。 显 然 
BLU 估计 器 更 精确 。 当然 ， 正 如 之 前 所 讨论 的 ， 想 要 实际 中 每 个 样本 的 噪声 方差 为 已 知 是 不 
现实 的 ， 尽 管 一 些 信 息 是 可 利用 的 ， 比 如 噪声 方差 是 否 是 增长 的 。 由 于 估计 器 是 随机 变量 ， 
对 某 个 特定 的 样本 集 ，LS 估计 器 可 能 比 BLU 估计 器 更 精确 。 尽 管 Geuu 的 方差 更 低 些 i 对 这 
个 例子 ， 它 是 0.0225,， 而 Bs 为 0.0564。 图 9-21b 显 示 的 是 LS 代价 函数 ， 将 它 与 权 值 矩阵 WW 
包含 变化 的 噪声 方差 时 的 WLS 代价 函数 比较 (回顾 一 下 WLS 和 BLU 估计 器 在 W= 二 Rw 时 是 
相同 的 )。 与 上 面 的 估计 器 对 应 的 曲线 的 最 小 值 由 垂直 的 虚线 标示 。 尽 管 WLS/BLU 曲线 在 
LS 曲线 的 下 方 ， 但 这 不 是 一 定 会 发 生 的 情况 。 这 两 个 代价 函数 的 相关 值 不 一 定 都 是 有 含义 
的 ; 它们 的 最 小 值 和 对 应 的 估计 器 是 非常 重要 的 。 
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g] b) 
图 9-21 faj 9-48 估计 的 结果 。a)LS 和 BLU 估计 器 的 线性 回归 ; b)LS 和 WLS 估计 器 的 
代价 函数 (其 中 WW=Rw ， 则 WLS 估计 器 等 价 于 BLU 估计 器 ) < 


9.23 BLU 估计 器 的 性 质 


尽管 BLU 估计 器 是 用 一 种 不 同 于 WLS 最 小 化 的 方法 推导 出 来 的 ， 但 实际 上 结果 只 是 
这 种 方法 的 一 种 特殊 情况 
e BLU 和 WLS 估计 器 的 等 价 性 。 当 WW 二 RW 时 ，BLU Al WLS 估计 器 是 相同 的 : 
Owis | w=, = Osu (9-388) 
当 V 是 不 相关 的 ， 即 Rw =I, LSM BLU 估计 器 是 等 价 的 。 这 是 之 前 给 出 的 LS 
估计 器 的 特性 的 重 述 。 
© 无 偏 性 。 由 于 BLU 估计 器 的 推导 包括 了 无 偏 性 的 约束 ，bau 对 零 均 值 的 噪声 显然 是 
无 偏 的 : 
E(u] =(ATRWA) A Re ELY] 
=(ATRWA)'A™Ry (A0 + E[V]) = 0 (9-389) 
e 协 方差 矩阵 。BLU 估计 器 的 协 方差 矩阵 为 
cov Osu] =£[ (Osu — @) (Osi — 0) ] 
=€[BVV'B] = BRwBT (9-390) 
IRA st (9-368) 43 l|; 
cov[ O56] = (ATRAN A RAR w RnA (ARYA) 


= (ATRA y (9-391) 
o 最 小 SL.u。 代 价 函 数 的 最 小 值 是 式 (9-391) 中 的 协 方差 阵 的 迹 : 
: EbLU.min = ttLBRwB™ ] = tr[(ATRZA D 1] (9-392) 


有 意思 的 是 通常 W LS 估计 器 代价 函数 的 最 小 值 依赖 于 样本 YY, 而 此 处 不 是 这 种 情 
况 。 这 个 结果 是 源 于 BLU 估计 器 是 通过 将 基于 Y 的 一 个 基础 模型 的 协 方差 阵 最 小 
化 推导 出 来 的 。 
e 有 效 性 。 最 后 ， 我 们 证 明 BLU 估计 器 是 最 有 效 的 线性 无 偏 估计 器 ， 它 是 “最 好 的 ”， 
正如 其 名 称 中 包含 的 意思 。 
定理 9-9 BLU 估计 器 batu 在 所 有 线性 无 偏 估计 器 中 具有 最 小 方差 。 
证 明 ; 定义 以 下 差 矩 阵 : 
D &cov[ĝ] 一 cov[Lbauo] (9-393) 
其 中 6 是 另 一 个 线性 无 偏 估计 器 : CRA FY 的 形式 ，E[LFWO=09。 目 的 是 证 明 也 是 每 个 非 
零 向 量 x 的 PSD: xzTIDu 三 0， 在 这 种 意义 下 ，BLU 知 计 器 的 协 方差 是 最 小 的 ;: 用 类 似 的 
方法 证 明 LS 估计 器 在 Rw = 工时 是 BLU 估计 器 。 此 处 的 结果 可 用 于 任意 噪声 协 方差 阵 
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Rw。 这 两 个 估计 器 的 协 方差 矩阵 具有 相同 的 形式 
cov[baro] = BRwBT, cov[0] = FRyF" (9-394) 
当代 人 Bao， 我 们 需要 确保 两 个 估计 器 都 是 无 偏 的 ， 这 意味 着 BA= FA= I, HHA 
量 ， 重 新 求 结 果 得 到 


D = (F —B)Rw (F — B)" + CFRwB" + BRwF*) — 2BR wB" (9-395) 
将 B 用 式 (9-368) 代 蔡 ， 中 间 项 之 一 变 为 了 
BuyRwF* = (ATRWA) 'A*RwRywF" = (ATR%A) ` (9-396) 


最 后 一 项 用 到 了 无 偏 性 的 约束 A F 二 (FA) = 二 I。 对 其 他 的 中 间 项 也 可 得 到 同样 的 结果 ， 
因为 它 是 BRwF” 的 转 置 。 将 Baiu 代 入 式 (9-395) 的 最 后 一 项 得 到 式 (9-391) 中 BLU 估计 器 


的 协 方差 .因此 四 项 消 掉 了 ,得 到 


D = CF — Bay )Rw CF — Baru) 


证 明 完毕 ， 因 为 D 是 PSD 的 。 
习题 


充分 统计 量 和 UMVU 估计 

9-1 对 和 个 i 庆 泊 松 样本 ， 用 充分 性 的 定义 找 参 
数 a 的 一 个 充分 统计 量 。 

9-2 XNA iid HORA, pdf 为 fx (z)= l, a (x) 
1,1(z)， 用 因 式 定理 找 {0 ，& } 的 一 个 充分 统 
计量 。 

93 重复 习题 9-2 的 问题 ， 对 N 个 iid 伽 马 样本 
找到 O= (a, r}M—-PH ASTM. 

9-4 推导 式 (9-30) 中 的 期 望 值 来 求 最 大 和 最 小 值 。 

95 求 M 个 参数 为 N 的 具有 卡 方 分 布 的 id 样本 
的 最 小 充分 统计 量 。 

9-6 用 式 (9-34) 中 比值 方法 从 N 个 参数 为 a 的 iid 
泊 松 随机 变量 样本 中 找 最 小 充分 统计 量 。 

97 ”对 位 置 参 数 为 c 的 指数 随机 变量 : 

fx (z) = Aexp(— Alr — c)) Ik. (z) 
(9-398) 
WE (AE A) AY Rk 7] FE SP BE TT Fe N 个 iid 
样本 中 的 Xa 。 

9-8 对 NN 个 参数 为 {psa} 的 iid 拉 普 拉 斯 样本 ， 
求 以 下 参数 的 最 小 充分 统计 量 : (a)a( 固 定 
u=0); Cb) pC fl a=1). 

9-9 XN 4 fE[0,.0] E iid WIAA. X. 是 0 
的 最 小 充分 统计 量 。 当 1< m< n< N hf, 
{Xm ,Xow}) 的 联合 pdf 在 习题 4-41 的 
式 (4-269) 中 给 定 。 计 算 拉 奥 -布莱克 维尔 定 
理 中 的 ELXw (Xn 指定 函数 c(@). 


9-10 证 明 样 本 均值 X 是 已 知 o 的 高 斯 分 布 中 jy 
的 完备 充分 统计 量 。 

9-11 对 六 个 参数 为 (aso = p) 的 iid 高 斯 样本 ， 
找 关 的 最 小 充分 统计 量 。 

9-12 对 NN 个 参数 为 a 的 半 正 态 iid FEA, Ra 的 
UMVU 估计 。 

9-13 ”对 M 个 参数 为 {N,p} 的 二 项 iid HA, OR 


p: 的 UMVU 估计 (假设 N>2 BA). 


(9-397) 


9-14 fH 0 BJ EF S h iF h iid 样本 得 到 ， 如 


下 式 所 示 : 

= N 

| a [[ fx (x, — 0) d0 
— e 


[| II, Oa 

zk X 为 参数 ipo} 的 高 斯 (so 已 知 ) 时 0 一 六 
的 皮特 曼 估计 。 

MSE 估计 > 

9-15 ”对 加 性 噪声 问题 X=Y+V, ih Y MV E 

独立 随机 变量 , 求 当 V 是 参数 (yp = Osov) 

的 高 斯 分 布 ，Y 是 参数 为 思 输 出 为 { 士 a} 的 对 

称 伯 努 利 时 , Y 的 MSE, MAE 和 ML 估计 。 

对 习题 9-15， 设 MSE 估计 受 以 下 仿 射 形式 

约束 : 


T (9-399) 


gmse (X) = aX + b (9-400) 

假设 V 的 均值 为 y= 二 1， 求 使 MSE 最 小 的 
a b. 
重复 习题 9-15， 当 噪声 V 具有 参数 为 {jy = 
Osa) 的 拉 普 拉 斯 分 布 。 
设 随机 序列 X[k] CRE NN) 的 自 相关 函数 为 
Rxx (m]=(2/3)|"| 。 考 虑 以 下 MSE 估计 : 

Xuse[k] 一 aX[LI] 十 到 [LN](9-401) 
HEP RE (2,…,N 一 1)。 求 使 EL(X[k] 一 Xms 
[kJ])?] 最 小 的 最 优 参 数 (a,b). 


9-19 假设 


M 
Xuse = >)anYn = aY (9-402) 


为 一 个 基于 M 个 相关 随机 变量 (Y,} 的 X 的 
IYF, Hepa Alaan] Y= (Yi. 
Yul o RAH el CX — Xus LkJ])*] 最 小 的 a 的 
表达 式 。 

MAP 和 ML 估计 

9-20 ” 求 参数 为 a 的 泊 松 分 布 的 MAP 估计 ， 假 设 
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a 是 一 个 标准 高 斯 随机 变量 。 
9-21 证 明 式 (9-287)。 
9-22 设 测 量 值 按 以 下 方式 产生 : 
Y = X+2A+A’ (9-403) 
其 中 X 是 参数 1 王 1 的 指数 分 布 ，A 具有 以 
下 pdf; 
fala) = (1/4)[38(a— 1) + da — 3)] 
(9-404) 
Xt Y 的 单 次 测量 , 求 : Ca) A 的 ML 估计; 
(b)A 的 MAP 估计 。 

9-23 RHF X WN 个 样本 的 0 的 ML 估计，X 
是 [0, 四 上 均匀 分 布 的 。 

9-24 重复 习题 9-23，X 具有 参数 为 {a = 0,b = 
loc} 的 三 角 分 布 。 

9-25 ”由 参数 为 (0= r,a = 1) 的 韦伯 分 布 的 N 个 
样本 推导 0 的 ML 估计 的 表达 式 。 

9-26 考虑 随机 变量 X 分 布 的 以 下 两 个 假设 。 
Ho: BRA l = 0,a) 的 高 斯 分 布 。 H.: 
参数 为 (e= 0,a) 的 拉 普 拉 斯 分 布 。 用 LRT 
来 求 n=1 时 zx 的 测试 条 件 的 表达 式 。 在 
图 3-20 中 给 出 了 pdf 的 对 比 。 

9-27 重复 习题 9-26， 此 时 H, 为 参数 (c = 0,a) 
的 柯 西 分 布 。 : 

9-28 推导 估计 一 个 具有 已 知 方差 的 有 限 高 斯 混 
& 0 一 [aa vam sf styl" 的 EM 算法， 与 
导出 式 (9-289) 和 式 (9-295) 的 过 程 类 似 。 

HE 

9-29 RASO (ua) 的 逆 高 斯 分 布 的 N 个 iid 
样本 得 出 的 MoM 估计 。 

9-30 重复 习题 9-29， 针 对 参数 为 (NP) 的 负 二 
项 随机 变量 。 

9-31 重复 习题 9-29， 针 对 参数 为 (p= l,a) 的 拉 
普 拉 斯 随机 变量 。 

克拉 美 罗 下 界 (CRLB) 

9-32 (a) 求 定义 域 为 Z* 几何 分 布 的 p 的 无 偏 估计 
的 CRLB; (b) 推 性 pp 的 ML 估计 。 

933 ” 求 参数 为 {pp，N) 的 二 项 随机 变量 中 p 的 
Fisher 信息 。 


进一步 阅读 


本 章 中 涵盖 的 问题 在 以 下 参考 书 中 有 进一步 深入 讨 
论 。 充 分 统计 量 和 估计 : Haykin (2002), Lehman 
(1983), Kailath, Sayed 和 Hassibi ( 2000), Kay 


本 书 第 三 部 分 的 注意 事项 


第 三 部 分 包括 四 章 内 容 ， 介绍 在 信号 处 理 和 通信 
中 的 应 用 。 它 们 可 在 www. wiley. com/go/random- 
processes 网 站 中 找到 。 以 下 是 内 容 梗概 : 

第 10 章 : 通信 系统 和 信息 原理 ; 


9-34 重复 习题 9-33， 参 数 为 {4,r) 的 伽 马 分 布 中 
AY A. 
9-35 “推导 附录 下 式 (F-71) 中 偏 移 B(9) 的 有 偏 估 
计 的 CRLB 的 结果 。 
最 小 平方 估计 
936 LS 估计 具有 形式 如 rs=PY， 其 中 忆 会 4 
(ATWA) A'W 是 一 个 投影 矩阵 ， 因 为 如 
9-18 所 示 ， 它 将 Y 投影 在 A 的 范围 内 。 
BAY ws=Y¥—-Yus=U-P)Y. HEAR P E 
—TESHE, ER I—P EX. 
9-37 i% LS 估计 受 以 下 条 件 限制 : 
6is = min[ P" ¥ +A(c’@—c) ] 
i (9-405) 
KP A 为 一 个 拉 格 朗 日 乘 子 ， 约 束 为 对 cE 
R”, WE cr6 一 c。 求 gs 的 表达 式 。 
938 假设 LS 模型 扩展 为 ; 
Y = A@+b+V (9-406) 
其 中 bER” 为 一 个 固定 的 已 知 向 量 。 求 此 模 
型 的 加 权 LS HAR, R us 的 表达 式 。 
仿真 作业 
9-39 用 MATLAB 完成 此 章 描 述 的 对 有 穷 混 合 
模型 的 EM 算法 ， 分 别 用 式 (9-291) 和 
式 (9-295) 给 出 的 第 EAA MH, i 
fx (z) = (0. 3) (1/2)exp(— x/2)u(x) + (0.7) 
V2/ nexp(— z /2)u(z) (9-407) 
JE 48 3 (A = 1/2) ME IE # (a = 1) t HIE 
合 。 画 出 实际 的 和 估计 的 混合 分 布 图 。 
9-40 考虑 以 下 模型 ; 
Y = 0 +0,X—0, X: +V (9-408) 
其 中 X 是 L0，1] 上 均匀 分 布 的 ，V 是 参数 
为 (= 0, = 0.1) 的 高 斯 分 布 。 尽 管 X: 出 
现在 这 个 表达 式 中 ， 它 仍 是 一 个 关于 参数 
的 线性 模型 。 求 对 三 个 参数 (0 = 1,0 一 4， 
b =— 2) 具有 单位 加 权 和 矩阵 W = I ñj WLS 
估计 。 用 MATLAB m (X,Y) 的 N= 500 
个 样本 和 估计 bs 生成 的 线条 ， 与 图 9-16 中 
显示 的 类 似 。 


(1993), Mendel ( 1995), Poor (1994), Sorenson 
(1980), Van Trees (1968)。 主 要 分 量 回归 : Jolliffe 
(1986), Mosteller 和 Tukey (1977). 


第 11 章 : 最 优 滤波 ; 
第 12 章 : 自 适应 滤波 ; 
第 13 章 : 均衡 、 波 束 形成 和 导航 。 








在 附录 中 、 ANART- it eGHESAMMUARRWE RII 读者 会 性 现 它 们 非 一 
RHA. UR, HAR G HAA TD EF HABER RAE AAS IASB A MAE 








找到 ，- 但 本 书包 括 这些 内 容 后 会 使 得 本 书 相对 独立 。 

CHRA 将 第 3 章 中 描述 的 所 有 的 单 变量 随机 变量 进行 了 总 结 以 便于 参考 ; 提供 了 概率 

一 密度 函数 (pdf)> 累积 分布 函数 (cdf)、 矩 将 征 函 数 、 粹 的 表达 式 以 及 每 种 分 布 的 示例 一 
-曲线 (显示 了 均值 和 宽度 ax ox), 随机 变量 是 按 字母 顺序 排列 的 ， 且 分 开 描 述 壬 续 和 
A €or == = 

ee HRB 活 益 了 函数 的 连续 性 、 有 界 性 以 及 各 种 其 他 特性 。 包括 了 贯穿 全 书 的 特殊 函 
数 ， 并 提供 了 示例 图 来 说 明 它 们 的 特性 。 几 乎 所 有 的 这 些 函 数 都 是 第 3 章 中 涉及 非常 广 
泛 的 分 布 ， 以 及 需要 以 简洁 的 形式 描述 pdf, cdf, U 5| B 9. 

CHRC 对 以 下 频 域 变换 的 性 质 和 变换 对 进行 了 概括 : Ci RAR R OR R; CIA 
HEETE; Giz 变换 ; (iV) 离 散 时 间 债 里 叶 变 换 。 讨 论 了 双边 和 单 边 变换 ， 还 包 
括 一 个 用 于 求 之 逆 变 换 的 柯 西 留 数 定理 的 例子 。 

o 附录 DD 包含 了 对 获 曼 积分 的 简要 回顾 ， 介绍 了 对 于 计算 期 望 值 非常 有 用 的 黎 昌 -斯 基 
尔 切 斯 和 勒 贝 格 积分 。 总 结 了 和 连续 随机 变量 的 pdf 的 函数 形式 ,这 在 计算 一 些 积分 时 非 
常 有 用 。 展示 了 如 何 对 一 些 两 变量 的 “特殊 ”函数 积分 ， 比如 SCz 一 y) 和 ulx—y). 

OCHRE 给 出 了 各 种 恒等式 ,包括 三 角 恒 等 式 、 斯 特 林 公 式 以 及 一 些 级 数 展开 和 闭合 形 
式 的 和 。 包 括 了 与 附录 D 中 的 pdf 积分 类 似 的 离散 随机 变量 的 概率 质量 函数 的 和 。 

®@ 附录 下 给 出 了 几 个 不 等 式 ， 它 们 对 于 计算 边缘 概率 和 期 望 非常 有 用 。 这 些 不 等 式 包括 
柯 西 - 施 瓦 蒋 和 三 角 不 等 式 、 切 而 诺 夫 边 界 、 杰 森 不 等 式 以 及 克拉 美 罗 下 限 ， 可 用 于 第 9 
章 的 参数 估计 中 。 

@ 附录 G 总 结 了 矩阵 和 向 量 的 重要 性 质 。 描 述 了 一 些 矩 阵 分解、 四 个 基本 子 空间 和 和 矩阵 
求 逆 定理 。 还 通过 例题 给 出 了 向 量 ( 实 数 和 复数 ) 微 分 的 法 则 。 


附录 A. 
单 变量 参数 分 布 总 结 


A.1 符号 


以 下 符号 用 于 下 文中 对 具有 一 个 、 两 个 或 三 个 参数 的 随机 变量 分 布 的 总 结 : 

fx z) 概率 密度 函数 (pdf) 

zx[Lz] 概率 质量 函数 (pmf) 

Fx[z] 累积 分 布 函数 (cdf) 

m。 中 位 数 

m。 众 数 

An 于 阶 原点 ( 非 中 心 ) 矩 ELX"] 

Hen n BY PAY 3E£[(X— gx)" J 

ux 均值 ELX] 王 各 

ox 方差 EL(X 一 jx)? ]= 2 

y Wa BERR ps /ox 

y 超 峰 态 系数 jx., /ox 一 3 

Ox(w) ”特征 函数 E[exp(jwX)]( 连 续 型 随机 变量 ) 

Ox (jw) ”特征 函数 ELexp(jwX)]( 离 散 型 随机 变量 ) 

H(X) 炉 (离散 型 随机 变量 ) 

ACX) 微分 炉 ( 连 续 型 随机 变量 ) 

对 互 (X) 和 CCX)， 到 底 是 用 log(z)( 任 意 底 ) 还 是 In(z) (以 @ 为 底 )， 取 决 于 包含 指数 
分 布 的 焙 的 表达 是 否 更 简洁 。 对 于 箭 的 表达 式 的 一 般 做 法 如 下 :〈 工 ) 对 于 log(x)， 表 达 式 
中 可 用 任何 基底 ; (ii ) 对 lnCz)， 表 达 式 仅 适 用 于 自然 对 数 ， 如 果 需 要 其 他 底 ， 则 必须 要 
进行 转换 。 

由 于 很 难 写 出 各 种 随机 变量 的 所 有 和 矩 ( 或 中 心 矩 ) 的 通用 表达 式 ， 所 以 只 给 出 低 阶 的 结 
果 。 单 位 阶 跃 水 数 xCz) 用 来 定义 连续 随机 变量 的 定义 域 ， 指 示 函 数 用 于 第 3 章 ( 对 于 三 角 
形 分 布 ， 指 示 函 数 使 表达 式 更 简洁 。) 对 于 离散 随机 变量 、 概 率 密度 函数 (pdf) 和 累积 分 布 
函数 (cdf) 分 别 写 为 狄 拉 克 6 函数 6(zx) 和 单位 阶 路 函数 wu(z) 的 加 权 和 。 其 结果 是 ， 一 个 离 
散 随机 变量 只 需 用 u(xz) 替 代 6(z) 就 可 从 其 pdf 得 到 其 cdf。 为 了 使 本 文 更 完备 ， 还 给 出 了 
概率 质量 函数 (pmf) ， 因 为 有 些 读 者 可 能 会 更 愿意 用 这 个 符号 。 

在 附录 B 中 描述 的 以 下 的 函数 和 数 在 本 附录 中 也 用 到 了 : 

B(a,b) 贝塔 函数 三 CTCe)PC)ACc 十 加 

B,(a,b) ”不 完全 贝塔 函数 

ra) fm pee 

ylab) 下 不 完全 伽 马 函数 

T(a,b) ERC MS HH 

par) WT we 

(rz) 泽 塔 函数 

Ia. a) 指示 函数 (连续 z) 

La. [z] 指示 函数 (离散 z) 


MRA 单 变量 参数 分 布 总 结 


sgn(z) 符号 函数 

Q(z) QQ 函数 

erf(z) 误差 函数 

erfi(x)” 虚 误差 函数 

L z) 修正 贝 塞 尔 函 数 ( 第 一 类 ) 

K。(z) 修正 贝 塞 尔 函 数 (第 二 类 ) 

Q, (a,b) 马 库 姆 -Q 函数 

L) 拉 盖 尔 多 项 式 

iF, (a; b; x) 合流 超 九 何 函 数 (第 一 类 ) 

Pla; b; z) 合流 超 几 何 函数 (第 二 类 ) 

Lz] AŽ 

[r] 项 函数 

B, 伯 努 利 数 

y 欧 拉 - 马 软 罗 尼 常数 (0. 5772) 

为 了 符号 简单 ， 本 书 中 在 除 以 一 个 乘积 项 时 并 不 总 是 包括 方 括号 或 圆 括号 。 例 如 ， 在 
指数 项 exp(zs/2c:) 中 应 该 清楚 是 x? 除 以 2o* ， 但 在 大 多 数 计算 机 编程 语言 中 操作 顺序 并 
- 不 是 这 样 的 (包括 MATLAB)@。 最 后 ， 总 结 中 并 不 包括 以 下 一 些 量 ， 理 由 如 下 : 
KAR: 表达 式 太 复杂 而 且 可 能 没有 用 (典型 的 有 特征 函数 或 粹 ); 

隐 式 : 不 能 写 出 一 个 明确 的 表达 式 ( 如 中 位 数 或 众 数 ); 
不 存在 : 和 矩 是 不 确定 的 或 无 限 的 ( 柯 西 )( 也 是 伯 努 利和 离散 均匀 的 中 位 数 ); 
不 上 唯一: 众 数 可 以 为 许多 值 (均匀 的 )( 二 项 分 布 和 泊 松 分 布 可 以 取 两 个 值 ) 。 


A.2 拓展 阅读 


没有 一 本 参考 资料 包括 了 本 附录 中 所 有 的 信息 。 读 者 可 以 在 本 书 结尾 所 列 出 的 参考 书 
目 中 找到 相关 内 容 。 下 面 的 书 是 非常 有 用 的 ， 尤 其 是 关于 矩 和 单 变量 分 布 的 其 他 特性 : 
Johnson, Kemp 和 Kotz( 2005); Johnson, Kotz 和 Balakrishnan(1994); Johnson, Kotz 
和 Balakrishnan (1995), $ P th M4 T Hh — 46 BS XCM: Krishnamoorthy (2006); 
Mood, Graybill 和 Boes (1974); Pal, Jin 和 Lim (2006); Peebles (1993), Weisstein 
(2003), Yates 和 Goodman(2005); Zwillinger 和 Kokoska(2000) 。 

在 这 里 没有 对 第 4 章 涉 及 的 多 变量 分 布 进行 总 结 ， 读 者 可 以 参考 以 下 资料 ， Gumbel 
(1960); Johnson, Kotz 和 Balakrishnan(1997); Kotz, Balakrishnan 和 Johnson (2000); 
Mardia(1970), 

KE BGA A YH GA SEAT VA ZE Verdugo Lazo 和 Rathie(1978) 中 找到 。 

最 后 ， 我 们 提供 了 少量 许多 没有 涉及 概率 的 教科 书 中 广泛 讨论 的 特殊 分 布 的 资料 。 半 
正 态 : Leone, nelson 和 Nottingham(1961) 。 逆 高 斯 : Chhikara 和 Folks(1989); Seshadri 
(1999) 。 拉 普 拉 斯 : Kotz, Kozubowski 和 Podg’ orski(2001), 34: Balakrishnan 和 Ed 
(1992) 。 对 数 正 态 分 布 ， Limpert，Stahel 和 Abbt(2001), 35/4: Rousu(1973)。 


A.3 连续 随机 变量 
A.3.1 贝塔 ， wa=B=1/2 的 (Arcsine，B=1 的 功率 函数 ) 


参数 a> 0, X3& z € [0,1] 
fx(z) = [1/B(a,p) Jat A — x)?" Lua) —u(z —1)] 
Fx(z) = [B,(a+P)/BCe,p) J[u(z) — u(z — 1)] +u(z —1) 
ux = a/(a+ Ü), ok = ap/[(a + B+ 1) (a + B) J 
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410 MR 附录 内 容 介 绍 


A-1 


( 续 ) 


me HRA, mo = (a—-1)/(a+B—2)( Mt F af > 1) 
jn= Bt n= VT 


(a 十 B 十 2) 
_ ra 二 a:(l 一 28) 一 2o8(B 十 2) 十 屎 (Bp 十 1) B: w: 
=e 好 (Ce 十 8 十 2)(c 十 8 十 3) s Dx lw) =i Fiat Bio) 





ACX) = (a+ B—2) plat D) — (a — 1)pla) — (8— DKA 十 In(CB(a,B)) 





b) 


贝塔 pdf 和 cdf. a) 贝塔 随机 变量 =8=0.5; b) 贝塔 随机 变量 a=0.75 和 p=2. MARR 
示 px ， 阴 影 部 分 表示 Lux — ox spx + ox ] 


MAA 单 变量 参数 分 布 总 结 


A.3.2 柯 西 





参数 cE R.a > 0,# XK z € R 

fx(xz) = (a/=w)[(z —c)2 +a?) 
Fx(z) = 1/2 + (1/x)arctan( (2 — c) /a) 

LX = 不 存在 ， ox = 不 存在 
me =c, m. = e 
pin PRE, pen 不 存在 ， 
y 不 存在 ， y 不 存在 

), ACX) = log(dxa) 





~ @x(o) = exp(jae —a|w 





图 A-2 柯 西 pdf 和 cdf. a) 柯 西 随机 变量 c=0, a=1; b) 柯 西 随 机 变量 c=0, a=0.5. 
虚线 表示 m. ， 阴 影 部 分 表示 [Fx (1/4), Fx! (3/4)] (由 于 px 和 ox 不 存在 ) 
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A.3.3 Chi 


HANEN- ZAR TER 
fx (z) = [aM /2A N N/2)Jexp(— 2? /2) u(x) 
Fx(z) = [y(N/2,z2/2)/T(N/2) Ju(z) 
px = J2T((N + 1)/2)/T(N/2), ok = N— 2[ (N + 1)/2)/PCN/2) ?? 
m 为 隐 式 ， m = /N-—1(3 N> 1) 
pin = 2"? TON +n)/2)/TON/2), 4 KER, y 太 复 杂 


®x(w) = [1/PCN/2)] D (Gav2)"/n PON + n) /2) 


n=0 


h(X) = G/2)00N — (N — 1) gC N/2) —In(2)] + In(PCN/2)) 





x 
b) 
图 A-3 Chi É$ pdf #l cdf, a) Chi 随机 变量 N=3; b) Chi 随机 变量 N=16. BARA px, 
阴影 部 分 表示 Lux 一 ox px + ox ] 


MRA 单 变量 参数 分 布 总 结 


A. 3.4 #5 





参数 N € N. X3 z € Rt 
fx(z) = [=N/2-1 /2N/22 p( N/2) Jexp(— 2/2) ux) 
Fx(z) = [y(N/2,z/2)/T'(N/2)]u(z) 
gx = N, ok =2N 
m ABA, mo = max(0,N—2) 
ya = 2"T'(n + N/2)/PCN/2) 
y = /8/N, x= 12/N 
š ®x(w) = 1/(1 — 2jw) Ns 
—ACX) = (1/2)[N + CN — 2)g(N/2)] + In¢2PCN/2)) 


- 
of 
- 
s” 





b) 


图 A-4 卡 方 的 pdf 和 cdf, a) 卡 方 随机 变量 N=3; b) 卡 方 随机 变量 N=5. BARA jx ， 
阴影 部 分 表示 Lux 一 ox "px 十 cx] 
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414 MR 附录 内 容 介绍 


A.3.5 指数 (平移 了 c) 


参数 ce Ra > 03 定义 域 工 e [c, ee) 
fx(z) = dexp(— (z — c))u(z — c) 
Fx(z) = [1—exp(— A(z— c))]u(z — c) 
ux = c+ 1/), ok = 1/42 
me = c+ In(2)/A,mso = c 
pin = D(n+ l,àc)explàc)/à" OHF c= 0,8 n1/)") 
pen =T(n+1,—1)/ea", 1 = 2, = 6 
Dx (w) = Aexp(jac) / (À — jw) 
h(X) = loge/A) 





% 0.5 1 1.5 2 2.5 3 3.5 4 
x 
b) 


图 A-5 指数 pdf 和 cdf, a) 指数 随机 变量 c=0, A=2; b) 指数 随机 变量 c=—0, A=5. HER 
表示 px ， 阴 影 部 分 表示 [ux 一 ox ,px 十 ax] 


MHRA 单 变 量 参数 分 布 总 结 


A.3.6 极 值 (类 型 1: 康 拜 尔 ) 





参数 c € R.a > 0, X & z € R 
fx(z) = (1/a)exp(— (z — c)/a)exp(— exp(— (z — c)/a)) 
Fx(z) = exp(— exp(— (z — c)/a)) 
ux = ct+ay, ox = ra’ /6 
me = c —aln(In(2)), m, = c 
pin 太 复 杂 
1203) V6/n: az 1.1395, yz = 12/5 = 2.4 
®x(w) = PA — Jam )exp(jax ) 
A(X) = y+ In(ae) 


lI 


y 





me ee 0 2 Sg 8 10 


b) 


A-6 极 值 ( 康 拜 尔 )pdf 和 cdf。a) 极 值 ( 康 拜 尔 ) 随 机 变量 c=0, a= 1; b) 极 值 ( 康 拜 尔 ) 
随机 变量 c=3, a 二 3。 虚 线 表示 ux 阴影 部 分 表示 Lux — OX sx +x] 
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46 附录 附录 内 容 介 绍 


A.3.7 FAB 





参数 msn € N ZALA ER 
fx(x) Bom/2.n/2)(1 Cm z mz) 
Fx (a) = [Brr/Gmrtm (m/2,n/2)/ B(m/2,n/2)Ju(z) 
= n/(n— = 2 (m +n —2)_ 
px = n/(n—2)(#* n> 2), ok aapa gp T n> 4) ,me BH 
= (bey: TEDD —D 


mo = n(m —2)/m(n+ 2)( t tF m > 2), pu TOn/2)F(n/2) (#4 n> 21) 


= Ila — A). 52 tae 人 = 
_ Qm+n—2) V8(n Mtb n> 6), — 12[(n — 2)? (n—4) + m(m+n—2) (Gn 22) ) (其 中 


(n— 6) J/m(m+n—2) m(n—6)(n—8)(m+ n— 2) 
Dx Cw) = [Tm + n)/2)/T(n/2)]W%(m/2;1 — n/2; — jan/m) 
h(X) = (1 — m/2)0(Xm/2) — (1 + n/2)0(n/2) + [(m + n) /2]#((m + n)/2) + In((m/n)B(m/2,n/2)) 


n Y2 n> 8) 





b) 


图 A-7 下 分 布 pdf fl cdf, a) 下 分 布 随机 变量 mr 二 40, n= 30; b) 下 分 布 随机 变量 
m=5, n=30. HERA px, PARMA BAS [jx 一 ox px + ox ] 


附录 A 单 变量 参数 分 布 总 结 417 


A.3.8 MS3UGRRB, WrenAr(r)=(r-1)!) 


BR Ar > OZAR + € Rt 
falar) = Ca" ar /T Cr) Jexp(— Ar) u(x) 
Fx (a2) = [y(r,.Az)/DT(r)]u(zx) 
px = r/às o% = r/À2 
m, MA sm = (r—1)/A (3 P r> 1) 
pn = Trt nA r 
n= VAr, x = 6/r 
®x(w) = [A/A — jo) Jr 
h(X) = r+ (1— ryer) + In(T(r)/A) 





b) 
图 A-8 (MIEL pdf 和 cdf, a) 伽 马 随机 变量 A=0.5, r=1; b) fM@BRAHLAES A=0.5, r=2, 
虚线 表示 UX» 阴影 部 分 表示 [ux — Ox ?Hx + ox ] 


418 附录 附录 内 容 介 绍 


A.3.9 高 斯 ( 正 态 ) 





参数 z € R. > 00, X 3 > € R 
fx (z) = 


= 1—o(2=#\= I+ KE | 
Fx(z)=1 Q( z ) aya er TP 
eX =p ok =o, m. =p, m =p, p= s te, ps = wy? + 30) 


| n 为 奇数 
yu=0, N=0 ga on! 
Pemp ”为 偶数 


Bx(w) = exp(jaw — ow /2), h(X) = (1/2)log(2za° e) 





1 
exp(— (z — p)’/20°) 
no” 





ET) -5 0 5 10 


b) 
图 A-9 高 斯 pdf Ml cdf, a) 高 斯 随机 变量 p=0. o=1; b) 高 斯 随机 变量 p=0, o=3, 虚线 
表示 px ， 阴 影 部 分 表示 [ux 一 ox spx + ax ] 


附录 A 单 变量 参数 分 布 总 结 


A.3.10 iEAS (BIE) 





ha> RAAR z+ € RE 
fx(z) = J2/na? exp(— x? /20? u(x) 
Fx (x) = erf(x/aV2)u(x) 
ux =a VIn, ok =a? (n—2)/x, m ABR, m=0 
pn = (2 2a" / STI '((n +1)/2) 
Yi = /2(4 — x) /(x — 2)3⁄2 ~ 0. 9953 
Yo = 8(x—3)/(n— 2)2 ~ 0. 8692 


-Bx (o) = [1 + jsgn(Ca)erfiça |o | / /2)Jexp(— ata? /2) 
h(X) = (1/2) log(na®e/2) 





x 
b) 
图 A-10 半 正 态 pdf 和 cdf, a) 半 正 态 随机 变量 o=1.5; b) 半 正 态 随机 变量 一 2.5。 虚 线 
表示 UX» 阴影 部 分 表示 Lux T OX +X + ox] 


420 MR 附录 内 容 介绍 


A.3.11 逆 高 斯 (Wald) 





参数 a> 0, X 3& x € Rt 





fx(z) =, L, exp(—a(z — p)*/2p?x) u(x) 


Fx(z) = (1— Q(z/p—1) Valz) + exp(2a/n) (Q((z/u + 1) /a7z)])u(z) 
px =p, ok =p8/a, me 为 隐 式 ， m =p VIF Gua)? — 3p? /2a 
p = 2 (1+ u/a), ps = 214+ 3u/a+ 32 /a2), pea = 3p? /a° 
yi = 3 Sula, n = 15p/a 
Bx(w) = exp((a/p)[1— /1— jaz? /a]), h(X) KAX 





b) 


A-11 逆 高 斯 pdf 和 cdf, a) 逆 高 斯 随机 变量 — 1, a=3; b) 逆 高 斯 随机 变量 /一 
2, a=4, HABA px ， 阴 影 部 分 表示 [ux 一 cx spx 十 ax] 


附录 A PEERED AAi 
A.3.12 ” 拉 普 拉 斯 (双边 指数 ) 


参数 pe R.a > 0, X 3& >z € R 
fx(z) = (1/2a)exp(— | z—p| /a) 
Fx(z) = (1/2)(1 + sgn(z — p) [1 — exp(— |z — g | /a)J) 
px == fs ok = 2a?, Me = pMa = yu 
0, n 3 # # 
tt: 元 为 偶数 ， 
nN=0, y=3 
Bx(w) = exp(jes)/ (1 十 aza2) 
h(X) = log(2ae) 


Mera F 


t 0, F A 


t 00, F 0) 





% 0 

x 

b) 

A-12 拉 普 拉 斯 pdf 和 cdf, a) 拉 普 拉 斯 随机 变量 ,— 0, a=1; b) 拉 普 拉 斯 随机 变 
量 j= 二 0, a 二 1/3。 虚 线 表示 px ， 阴 影 部 分 表示 [ax 一 ox spx + ox ] 


421 


422 附录 附录 内 容 介 绍 


A. 3. 13 Logistic( 参 数 为 {u=0，aw=1) 的 Sigmoid) ` 





参数 AE T.a > 0, X 3& >= € RT 
fx(x) = (1/a)exp(— (x—p)/a) [1 + exp(— (rz—p)/a)] = (1/4a) sech? ( (z — u) /2a) 
Fx(z) = [1 + exp(— (z —u)/a)] = (1/2)[1 + tanh( (z — #)/2a) ] 
Mx = ps ok = ra" /3 
Me = ys Mo = ps 
Hen = Can)"(2" — 2) | B, 
yı = 0, Y= 6/5 
Dx (w) = wraexp (jaye) /sinh( wa) 
h(X) = 2+ Inla) 








2o 5 5 10 


b) 
图 A-13 Logistic pdf 和 cdf, a) Logistic 随机 变量 p=0, a=1; b) Logistic 随机 变量 /一 
0, a=0.5, HR BAS wx ， 阴 影 部 分 表示 Lux — ox ,px Hox] 


MRA 单 变量 参数 分 布 总 结 





A. 3. 14 WAEA 
## u € R, > 0, XM > ER 
A = = exp(— (In(x) — p)? /20 u(x) 
= In(x) 一 = In(x) —g 
Fx(2z) = [1—e( 28) ao = ay [i eet ( = ) kæ 


px = exp(# to /2), ok = exp(2yz+ 262) — exp(2z + a°) 
me = explu), mo = explu— o), pn = exp(ng + no /2) 
yı = [exp(a2) +2] /exp(e2) — 1, yo = exp(4a2) + 2exp(3a2) 十 3exp(2o2) — 6 
Ox(w) KAR, ROO = p+ (1/2)In(C2xa?e) 





b ) 
A-14 对 数 正 态 pdf 和 cdf. a) 对 数 正 态 随机 变量 p=0, o=0.5; b) 对 数 正 态 随机 变量 
/一 0.5，o 一 0.5。 虚 线 表 示 px， 阴影 部 分 表示 Lux 一 ox ,px 十 ax] 


424 MR 附录 内 容 介绍 


A. 3. 15 ”麦克 斯 韦 - 玻 耳 兹 曼 





## (> ORAR ER 
fx(z) = (1/at) J2/xx* exp(— x? /2a?) u(x) 
Fx(x) = [erf(x/aV2) 一 /2/x(2/a)exp(— 2? /2a*) Ju(x) 
px = 2a J27x, ok = aœ (3n—8)/x 
me 为 隐 式 ， m. =a, pn = [20 2a"/ Sn] (nt 3)/2) 
yı = 2 /2(5z— 16)/(3x — 8)3/? ~— 0. 4857 
Y2 = 4(3r2 — 40n + 96)/(3x— 8)? =— 0, 1082 
Ox (w) = jan V2/n + C1 — wa) Cl + jsgn(w) erfiCa |w | / V2) Jexp(— wa? /2) 
ACX) = y+ (1/2) [ln 22a?) — 1] 





b) 
A-15 麦克 斯 韦 - 玻 耳 效 曼 pdf 和 cdf, a) 麦克 斯 韦 - 玻 耳 效 曼 随机 变量 a 二 1; b) 麦克 斯 
韦 - 玻 耳 效 曼 随机 变量 a 二 1.5。 虚 线 表 示 px, PABBA RA [px 一 ox ,px 十 cx] 


MRA 单 变量 参数 分 布 总 结 


A. 3. 16 IEH 





参数 rsa > 0, X 3 > € [cvcc) 
fx(z) = [ra /zr*! ]u(z — a) 
Fx(z) = [1 — (a/z)']u(z — a) 
px = m/(r—1)(3t F r> D 0k = mt /[(r — 12 (r — 2)](3t p r> 2) 
me = a2V/r, m. = a, pn = ra"/(r—n)(3t# r> n 


n = [2(r + D /(r— 3], VS DIAKE r> 3), ya = Me t r>4) 


Oy (o) = r(— jan) T(— r, — jam) 
ACX) = (r+ 1)/r+ In(a/r) 


Á een es 
- 








L. 


0.5 1.5 2 25 3 
x 


b) 
图 A-16 帕 雷 托 pdf 和 cdf. a) 帕 雷 托 随机 变量 =0.5, r=5; b) 帕 雷 托 随 机 变量 a= 
0.5，r 一 3。 虚 线 表示 px ， 阴 影 部 分 表示 [jx 一 ox vpx tox] 
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426 附录 附录 内 容 介 绍 


A. 3. 17 HN) 


参数 a 二 0, X 3 z € Rt 

fx(z) = (z/a2)exp(— z2/2a2)u(z) 

Fx(z) = [1 — exp(— z? /2a2) Ju( z) 

px =a Va/2, = (4— x)a?/2, m, =a Vin ,m, = a 
pa = aT n2 +1), pen = Vx/2(x— 3)a° 
yi = 2(x 一 3) /x/(4 — x) ~ 0.6311, yz = (24n — 6r? — 16)/(4 — r)? =s 0. 2451 
Øx lw) = 1 — am Vn/Zexp(— aw /2)[erfi(am / /2) — j] 

h(X) = y/2+ 1 + In(a/ /2) 


a= 





b) 
A-17 瑞 利 pdf 和 cdf. a) 瑞 利 随机 变量 a 二 1; b) 瑞 利 随机 变量 a 二 2。 虚 线 表示 ux. BH 
影 部 分 表示 [jx 一 ox spx tox] 


A.3.18 莱 斯 





MRA 单 变量 参数 分 布 总 结 


参数 ca RLR r ER 
fx(z) = (zx/a’)exp(— (2? +?) /2a?) Io (cz /a2 u(r) 
Fx(x) = [1 — Qi (c/a,z/a) Ju( z) 
px =a JSx/2L4/2(— cè /2@2 ) sok = c? + 2a* — Cra? /2) Lt, (— ct /2a2) 
me ARK, ms ARÄ, yi KBR. y KDR 
pn = (2a2)"/2 P(n/2 + Lt ce/20) 


Bx Cw) = DL Gam /2)"/n!JP'O/2 + Ly (— c?/2a) 
pa n=0 
h(X) 太 复杂 


x 

b) 

A-18 3⁄3 pdf 和 cdf, a) 莱 斯 随机 变量 c= 2anda= 1; b) 莱 斯 随机 变量 = 3anda=1, 
虚线 表示 px ， 阴 影 部 分 表示 Lax 一 ox px + ox ] 


427 


428 MR 附录 内 容 介绍 


A.3.19 学 生 氏 t 分 布 


## r> 0, X z € Rt 
fx = AH z2/r)UC+D/2 / feB(1/2,r/2) 
Fx(z) =B JID) a yag r/2)/BCr/2,r/2) 
px = OC P r> 1). k = r/(r— 2)( 3 F r > 2) ,me = 0sm = 0 
0, në 
Cn = ) 
人 oye ener, een F> n 
yi = 0(E t r>3), y = 6/(r—4)(3 i r> 4) 
®x(w) = Ky (r |o |) Vr |o |)” /re=/2y22—1 
h(X) = [pr + 1)/2) — (r/2)](r + 1)/2 + In(/rB(1/2,r/2)) 








0 
-4 


-3 -2 -1 0 1 2 3 4 
x 
b) 
图 A-19 .学 生 氏 上 分 布 pdf fll cdf. a) 学 生 氏 上 分 布 随机 变量 r—3; b) 学 生 氏 :分 布 随机 变 
量 ~ 一 30。 虚 线 表 示 Hx» 阴影 部 分 表示 [x — Ox x 十 cx] 


附录 A 单 变量 参数 分 布 总 结 


A. 3.20 三 角 


A-20 





habe € RO a< c< b), X38 z € [a,b] 
S- e 
fx (z) = [2/@—a1| 2 人 ra) iit | 
(b— x)? 
b 


F= g. 





=- 2 
Fx(z) = [1/(6—4)] |==". a + (5 一 “一 ea (2) F la,ey (z) 


ux = (a+b+c)/3, ok = (a? b2 +c? —ab— ac — b:)/18 
b— J/(b—a)@o)/2, c< (a+b/2 
a+ /G—a)(c—a)/2, c> (a+ b)/2 
po = (az +B +c? + ab +ac + bc)/6, Yi = pes/oks Ye =— 3/5 =— 0.6 
pes =— (at b—2c)(a+e— 2b)(b+ c— 2a)/270,h(X) = 1/2 + log((b— a) /2) 


— 9 (b— a)exp(jec) — (b — c)exp(jJez ) — (c — a) exp(jwh) 
ee ae wi (b—a)(b—c)(c—a) 


My = Cs m= | 


b) 
= ff pdf 和 cdf, a) 三 角 随 机 变量 a=—1.5, b=1, c=0.5; b) 三 角 随 机 变量 a= 
1，0 一 4，c< 一 2。 虚 线 表示 ux. PARI RA Lux 一 ox ,px + ox ] 


429 


430 附录 附录 内 容 介绍 


A. 3.21 均匀 (连续 ) 


参数 ab € RHP a <b), ZAR z€ [a,b] 

frla) = [1/(b—a)][u(z —a) — ular —b)] 
Fx(z) = [(z—a)/(b— aIo (z) + Lg.) (z) 

ux = (a +b)/2, ok = (b—a)2/12 
me = (a + b)/2, m, € [ab (FE —) 
0, nik 
(b—a)"/[(n+1)2"], n 8 # 
Yi = 0, - y, =— 6/5 =—1.2 

Dx(w) = [exp(jab) — exp(jaa) ]/[jo(b— a) ],h(X) = log(b— a) 


pn = (0! tt /LF =a pen = | 





b) 
A-21 均匀 (连续 )pdf 和 cdf, a) 均匀 (连续 ) 随 机 变量 a 二 一 1, b=1; b) 均匀 (连续 ) 随 
机 变量 a=—2, b=1, BAAR /xx ， 阴 影 部 分 表示 [ax 一 ox spx tox] 


MRA 单 变量 参数 分 布 总 结 


A. 3.22 韦伯 


参数 r, a>0, CRM z€ R* k 
fx (z) = (r/a)(z/a)”''lexp(— (z/a)')u(m) 
Fx(z) = [1 — exp(— (2/a)") Ju( z) 
ux = aD(1+1/r), ox = [ra + 2/r) — F2(1+1/r)] 
me = a[In(2)]!”, my =al(r—1)/r] V (3 tF r>1), pyn = a"T(1+n/r) 
t. ra +3/ —3I(1+ 1/⁄/r)[T(1+ 2/r) +2T'3(1+ 1/r) 
[Td +2/r) — P2(1+ 1/r) J3⁄2 
n= r1+4/r) Ara HITA 3N — 367 2(1+ 2/r) +127 2(1+ 1/TP(81 + 2/r) —6P (1 十 1/7) 
[rda+2/) — '2(1+1/r)3° 


yı 


Bx (w) = S)[Cjwad*/nt IPO n/r) hX) = 1 +(r—1)y/r+ InCa/r) 


n=0 


peee 





b) 
A-22 韦伯 pdf 和 cdf, a) 韦伯 随机 变量 e=1, r=1.5; b) 韦伯 随机 变量 a=2, r=1.5, 
虚线 表示 px ， 阴 影 部 分 表示 [yx 一 ox ypx 十 ox] 


432 附录 附录 内 容 介绍 


A.4.1 伯 努 利 ( 定 义 域 为 {0,1} ) 


## p€ [0,1],q221— p. XR z € (0,1) 
fx(z) = B(7z)+ pó(z—1),px[=z] = prg Io Lx] 
Fx(z) = qu (z) + pu (z — 1) 
BX = py Gk = Pq: pn = Ps pos = pg(l—2p), pea = pq(1-— 3pq) 
Ls _ [9% p<g 
me = 不 存在 ， mo = 人 sie 
y = (1—2p)/ Vpis n = 1/pq—6 
Øx (jw) = q+ pexp(jw), H(X) =— plog(p) — glog(q) 





0.2 





XS 0 0.5 1 1.5 


b) 
图 A-23 {ASA pdf 和 cdf. a) 伯 努 利 随 机 变量 p—0.25; b) 伯 努 利 随 机 变量 p—=0.9, HW 
线 表示 wx ， 阴 影 部 分 表示 Lux — ox wpx + ox ] 


MRA 单 变量 参数 分 布 总 结 


A. 4.2 伯 努 利 ( 对 称 ， 定 义 域 为 { 一 1，1)}) 


## p€ [01]，g 会 1 一 p， ZAA zE (—1.1) 
fx(2) = a+) + pó(z—1), px[z] = p20] ,1 Lx] 
Fx(z) = qu(z+ 1) +pu(z—1), x= p—q, ok =1—(p—q)? 
maa = 2(p —[(p—q)2—1]J, pes = 1+2(p—q)2 —3(p g) 
旋 一 9， nR —1, pq 
a BE hte nh. BPE pa = 司 p>=g 
n =—2(p—q)/ VI 9, Y=—201—4(p—g): +3 p—g)" VO — 2p —@? +9 - I 
Dx (j = gexp(— jw) + pexpGw),H(X) =— plog p) — qlog(q) 





x 


b) 
图 A-24 对 称 伯 努 利 pdf 和 cdf. a) 对 称 伯 努 利 随机 变量 p=0. 25; b) 对 称 伯 努 利 随机 变量 
pH=o0. 9。 虚 线 表示 x ° 阴影 部 分 表示 [px — OX AHX + ox ] 


433 


434 HR 附录 内 容 介绍 


A.4.3 二 项 式 


参数 pelo, 1], gqA1—p, NEN, ŽAR r€ (0, +, N) 
N 


fx(x) = ( Joram, px({z] = (È Jp- [z] 


n=0 
局 


Fx(z) = 5 (` Jor ucz—n = ry (人 pran 
0 


n=0 n= 
ux = Np, ok = Npa, po=Np(q+Np), m= | Np] ## [Np ] 
_ /LN+tD pjJs — 非 整 数 (N 二 19p 
Sd ites hig 整数 (CN 十 1)p 
pecs = Npq(q— p), ri = (1—2p)/ /Npq, Y: = (1—6pq)/Npq 
®x (jw) = [q + pexp(jw) 1%. H(X) K # # 





10 15 20 
x 
b) 
A-25 ZMA pdf 和 cdf, a) 二 项 式 随 机 变量 N=10, p=0.5; b) 二 项 式 随机 变量 N= 
20, p=0. 6. HARA wx ， 阴 影 部 分 表示 [ux 一 cx ,px + ox ] 


MRA 单 变 量 参数 分 布 总 结 


A. 4.4 ”几何 (定义 域 z* ) 


参数 pelo, 1], qA1—p, ZUR z€ Z+ 


fx( z) = X pq (zr—m, pxl] = pq*I zt Lr] 


n=0 


Fx(z) = >]pq"'u(z—m) = (1—q*1)1;+ [zJ 


n=0 
ux = gq/p, sk = gq/p’ me = [— 1/log; (q) ] —1,m, = 0 
pe = q(2— p)/p2, ps = q(6q+ p2)/Pp', pea = QPP pea = q(9q + p?) / pt 
一 yy =(2—p)/Vas n= p*/q+6 
x (jw) = pL} —gexp(jw) J-'s H(X) =— log(p) — (q/ p)log(q) 





图 A-26 几何 pdf #l cdf, a) 几何 随机 变量 p=0. 25; b) 几何 随机 变量 p= 二 0. 45。 虚 线 表 示 
pxo 阴影 部 分 表示 [jx 一 ox spx tox] 


436 附录 附录 内 容 介 绍 


A.4.5 几何 (定义 域 变 为 N) 


fx(z) = > paaa n), pxl] = pq?! Ty] 
n=1 


ce 


Fx(z) = J puls) = (1— Iyer] 


n=l 
px =1/p, ok =q/p?, m= [ —1/logz(q) ] ， m, = 1 
po =f{2—p)/p*, ps = (6+ p2)/p', pos = gq(2— p/P?» pea = q(9q + p*)/p' 


y =(2—p)/Vq, w = p*/qt+6 
Dx (jw) = pexp(jo)[1 —qexp(je)] 1, H(X) =— log( p) — (q/ p)log(q) 





6 8 10 


x 
b) 
A-27 移 位 几何 pdf 和 cdf. a) 移 位 几何 随机 变量 p=0.25; b) 移 位 几何 随机 变量 p= 
0. 45。 虚 线 表示 px ， 阴 影 部 分 表示 [jx — ox px 十 ox] 


附录 A 单 变量 参数 分 布 总 结 
A.4.6 MA 
参数 NE N. ME 10,-- N), ne {lse Ni, 
定义 域 TE (x, 入 max(0,m 十 M 一 N) ,min(M,m) 会 zn) 
M\ /N—M My, /N— M 
rH 
fx(z) = oH est ee is A 


A-28 


a N N 
| ey 
My, /N— M M\ /N— M 
= ` (Lama a (ot atone’) 
Fx(x) = >° a we ane eae 
ai sales E ie magh y 
px =nM/N, ox = nM(N—M)(N—n)/N?(N—-1), m BX 
uea = nM(N— M)(N — 2M) (N >n) (N — 2n)/ N? (N — 1)(N— 2) 
mo = [m +1(M+ D)/(N+2) |, AKAR, OG ALR 
yı = (N—2M)(N—2n) /N—1/(N—2) (N—M)(N—n), HX) 大 复杂 





x 

b) 
超 几何 pdf 和 cdf, a) 超 几 何 随机 变量 N=10, M=n=4; b) 超 几 何 随机 变量 N= 
10, M=6, n=3, BRER pxo HERDER [px 一 ox spx tox] 
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438 MR 附录 内 容 介绍 


A.4.7 对 数 (Log 级 数 ) 


参数 pE, 1], gAl—p, 定义 域 r€ V 
fx(z) = [— 1/In(q)] X) (p"/n)d(x—n), px[z]= [— p*/aln(q) JI yL] 
N= 


= Lx 
Fx(z) 三 [一 l/In(q)]>)(p"/nyu(zr —n) = [一 inio] Se 
N=1 


n=l 
px =— p/qin(q), ok =— plLp+In(q) ]/q? ln? (q) 
m ABR, m. = 1, wo =— p/q'ln(q), ps =— p(pt+1)/q'ln(q) 
yi = (2p? + 3pln(q) + (p+ 1) In? (q) ]/[p + In(q) ] V~ pino — p 
ye =— [3p + 6p?In(q) + 4p(p + D In2 (q) + (p? + 4p + 1)]nš (q) ]/ p[ p + In(q) ]° 
Bx (jw) = In(1 一 pexp(jw))/In(q) 


H(X) = (p/q)|n(p/q) — In(— 1/In(q)) —[1/In(q)1>7In(n)p"/n 
N=1 





x 
b) 
图 A-29 对 数 pdf 和 cdf. a) 对 数 随 机 变量 p=0. 5; b) 对 数 随机 变量 p= 二 0.75。 虚 线 表示 
ux» 阴影 部 分 表示 [jx 一 ox ,px Hox] 


附录 A 单 变量 参数 分 布 总 结 


A.4.8 负 二 项 式 ( 帕 斯 卡 ) 


参数 hpE[0，1],， qAl—p, NEN. ZXR z€ Z+ 


fx(z) = > (ZENTI) angam sprla] = (ENTI zl 


n=0 “= 


Fx(X) = 5 (tU oraz—n = (CEN Hing 


n=0 n=0 
px = Ng/p, ok = Nq/ p° 
me 为 隐 式 ,mo = OR | N— Dq/p ] EP N> 1), pos = Nq (1 + q) / p° 
pea = 3N ETH + Nq (p° + 6q)/pt, 7 = (2—p)/ VNg, >= p2/Nq + 6/N 
Px Gw) = pN/[1 一 gqexp(jw)]N,H(X) 大 复杂 





t 00, FA 


£00, F.) 





图 A-30 负 二 项 式 pdf 和 cdf, a) 负 二 项 式 随 机 变量 N=4, p=0.5; b) 负 二 项 式 随 机 变 
HE N=10, p=0.8, BRERA px ， 阴 影 部 分 表示 [ux 一 ox ,px tox] 
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40 MR 附录 内 容 介绍 


A.4.9 泊 松 


参数 a>0, ELR z€ Z+ 
fx(z) = 2Jexp(—a)(a"/n!)a(z—n), px[z] = exp(—a)(a*/x!)1,+ [z] 


n=0 


om zj 
Fx(z) = 2>7exp(—a)(a"/n!)u(z — n) = Si a) Ca” /n!) 


n=0 n=0 


a 和 ac 一 1，aE N 
LX =a, ok =a, m ÄRR, m= (Ver 其 他 
Hes = a, pet = 3 Ha pes = l0 a, yi = Wve, xz = 1/a 


n=0 


Bx (jw) = explalexpljw) —1]). H(X) = exp(—a) Da*log(n!)/n! + a[1 — log(a) ] 





6 10 12 
x 
b) 
A-31 泊 松 pdf 和 cdf. a) 泊 松 随机 变量 a= 2.5; b) 泊 松 随机 变量 a 二 6。 虚 线 表 示 px. 
阴影 部 分 表示 [px 一 ax pxtox] 


HRA 单 变量 参数 分 布 总 结 


A. 4. 10 均匀 (离散 ) 


参数 ab € Z( 其 中 a 二 b)，N 会 b 一 a 十 1， SEX r€ {arb} 
b 
fx(z) = C/N) >)8(z 一 如， pxl] = (A/N). [Lz] 


ó 
Fx(z) = G/N) >)u(z 一 站 = G/N) | z ] —a) Ira (2) + Io. (z) 


ja = +D k= PDB, w LETH Lo, atp AEN a 
mo € (as yb) (BE—)s press = 0, peed = CN? —1)(3N* —7)/240 
: y =0, y =—(6/5)(N? +1)/(N? —1) 
Bx (jw) = (1/N)expGwa)[1 — exp(jwN )]/[1 — expljw)], H(X) = log(N) 








0.8 


0.2 














0.8 






a 5 6 7 8 
x 


b) 
A-32 离散 均匀 pdf 和 cdf. a) 离散 均匀 随机 变量 a—2, b=7; b) 离散 均匀 随机 变量 
a 二 1，b 二 4。 虚 线 表示 jx ， 阴 影 部 分 表示 [px 一 ox ,px Hox] 
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442 MR 附录 内 容 介绍 


A.4.11 泽 塔 (Zipf) 


参数 aE (1, eo), 定义 域 EN 
fx(z) = [1/t(a)]2>)(1/m)8(z—n),px[z] = [1/t(a) Iyl] 


> E 
Fx(x) = [1/6] > (1/m)u(z—n) = [1/ga)] >) 1/7" 
n=] 


n=l 


px = t(a—1)/t(a)( 3 a> 2), ok = [t(a)t(a — 2) — @(a — 1)]J/@ (a) ( 3: tF a > 3) 
me HRA, mo = 1, g = k(a—n)/t(a)(3tE tP a> n+ 1) 


yy = 太 复杂 ， y = 太 复 杂 ， Ox Cw) = [1/t6a)] > expCjwn)/m 
n=l 


H(X) = [1/t(a)] X logg Ca) )/ne 





b) 
A-33 泽 塔 pdf 和 cdf, a) 泽 塔 随机 变量 a=3. 5; b) 泽 塔 随机 变量 a 二 5。 虚 线 表 示 px, 
阴影 部 分 表示 [jx 一 ox wjx + ox ] 


附录 B 
PA ËY fll Jš PE 


本 附录 中 ， REM Y ARH — HE SEAS HE. SR JG xF B JL A s 6 SR R 3 D) 
及 符号 进行 了 总 结 。 


B. 1 连续 性 与 有 界 变 分 


定义 (函数 ) ”函数 y 二 g(x) 是 从 工 到 yy 的 映射 。 
这 个 定义 意味 着 对 于 一 个 给 定 的 工 ， 上 映射 到 唯一 的 y。 逆 变换 >= g '(y) 可 能 不 是 唯 
一 的 ; 如 果 它 是 唯一 的 ， 则 g(z) 一 一 对 应 。 
定义 (连续 函数 ) 如 果 对 于 每 一 个 6>0， 存 在 es 二 0， 使 得 
|z—z= |< e => |]g(z)— g(xo) | < ë (B-1) 
则 函数 glx) HE xy 处 连续 。 
我 们 也 可 以 将 一 个 在 z, 处 连续 的 函数 g(x) 写 为 
lim | g (zo +e) — g(xzo) | = 0 (B-2) 
其 中 se 可 正 或 负 : 从 右 侧 和 左 侧 接近 z, 时 极限 必须 成 立 。 
因此 ， 我 们 可 以 简单 地 将 g(z) 在 xo 处 连续 写 为 : 
limg(x) = g(a) (B-3) 


ERP g(xo) 有 限 。 式 (B-1) 的 定义 用 于 特定 的 点 ze， 意味 着 将 一 个 特定 的 {fe,6) 对 用 于 该 
点 。 这 可 以 通过 将 6 写 为 zx。 和 MRM O(c) 来 强调 (不 要 与 后 面 定 义 的 狄 拉 克 6 函数 
混淆 )。 对 其 他 的 点 zi ， 则 需要 不 同 的 C ,e)。 

函数 g(z)=sin(2x/z)# z=0 处 不 连续 ， 当 x 一 0 上 时， 函数 在 一 1] 和 1 之 间 振 荡 ， 
在 r= 处 的 极限 不 存在 ， 如 图 Bla 所 示 。 对 每 个 6， 没 有 e 满足 式 (B1) 中 的 连续 性 条 件 。 < 


0.25 
0.2 
0.15 
0.1 
0.05 
-0 
-0.05 
-0.1 
-0.15 
-0.2 


x)=sin(2n/x) 


= -0.4 


g(x)=x°sin(2z/x) 





0.05 0.1 0.15 0.2 0.25 0.3 0.35 0.4 0.45 -0.25 0.05 0.1 0.15 0.2 0.25 0.3 0.35 0.4 0.45 
x x 
a) b) 
图 Bl 函数 的 连续 性 。a) g(z)=sin(2x/z)f£E r=0 处 不 连续 ; b) g(z)= z sin(2z/z)£E c=0 处 连续 


考虑 g(z)=z°sin(2x/z), HP r 在 原点 附近 “压缩 * 了 sin(1/x)， 因 此 g(0)=0, 
wE Bibir, HY |A sin r/d |S, 我 们 可 以 选 6 二 ee ， 对 于 每 一 个 80， 连续 性 条 件 变 
为 : |x—0| <e>|2’sin(2x/x)—0| <=, Wt 6(x = 0,e) < 
如 果 式 (B-1) 只 对 正 的 或 负 的 8 成 立 ( 而 不 是 都 成 立 )， 则 g(z) 分 别 为 右 连 续 或 左 连续 。 
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定义 ( 右 或 左 连 续 函 数 ) 如 果 对 每 个 69>>0， 存 在 es 二 0， 使 得 
to < z < z +£ > |g(z)— gx) | < ë (B-4) 
则 函数 g(Cz) 是 右 连 续 。 
同样 ， 一 个 堪 连 续 函 数 满足 : 
zo — £ < z < z = | g(x) — glt) | < ë f (B-5) 
显然 ， 一 个 连续 函数 在 r, 处 既是 左 连续 又 是 右 连续 的 。 B-2 中 显示 的 是 一 个 右 连 
续 函 数 的 例子 。 





| 不 连续 的 高 度 


Kore Xo x 
b) 
B-2 在 zo 处 右 连续 的 函数 。a) 实心 圆圈 定义 了 glr), HH  —0 时 ， 从 右边 有 g(z-+-e)—>g(2zo); 


b) 从 左 侧 ，g(zo 一 e) 趋 近 g(zo) 一 a， 其 中 a>0 是 不 连续 的 高 度 。 空 ， e Nm KISS ET 
连续 的 : 当 e->0 时 ， gz)" Bk ae” 到 g(x) 


离散 随机 变量 的 累积 分 布 函 数 (cdf) 被 定义 为 右 连续 。 图 A-25 给 出 了 附录 A 
中 总 结 的 二 项 式 随机 变量 分 布 的 例子 。 考 虑 cdf 在 z=1 的 不 连续 性 ， 此 处 的 概率 质量 为 


(Seg. 很 显然 ， 对 每 个 9 之 0， 我们 可 以 找到 e 之 0， 使 得 当 l1<r<1+e 时 ， 


|Fx(z) 一 Fx(1) | 二 6。 实际 上 对 1 过 x 二 2，| Fx(zx) 一 Fx(1)|==0。 而 男 一 方面 ， 找 不 到 一 
Ae>0, 使 得 z= 二 1 一 ge 无限 接 近 1， 并 且 对 每 个 8 都 满足 |Fx(1) 一 Fx(z)1 二 868， 因为 在 x 二 
1 处 有 “ 跳 变 ”。 < 


errr 
g(a) 一 az2 + bz + c (B-6) 


具有 有 限 的 实 系数 (a,b,c), W q e>0, #|z—zx |<, M 
| g(x) — g(a) |=|ax? + bz + c— ari — bx, —c| = |a(z— z (4 +2.) +b(z— x) | 
=|x2—a| lalat+am)+6|<ela(xa+a,) + b| = (zo +e) (B-7) 
最 后 一 个 表达 式 用 到 了 |z 一 zo | 二 e， 证 明了 g(x) 在 zE 尺 处 连续 。 我 们 也 司 以 用 式 (B-2) 
KEK: 





| g(a +e) — glx) | = |a(m, +e)? + b(z, +e) +¢— ax} — br, —c| 


= |a ry +e) + be |= lel laC2a, +e) +b] (B-8) 
3 e—>0 时 ， 上 式 趋 于 零 。 事 实 上， 可 以 证 明 所 有 具有 有 限 系 数 的 多 项 式 函 数 都 是 连 
< 
加 考虑 指数 函数 
g(x) = exp(— Ar) (B-9) 





|g(z te) 一 g(zo)| 一 |exp( 一 1(Czo + e)) — exp(—Azy) | 
=exp(—Ax,) | exp(—2) —1| (B-10) 
当 e—0 时 ， 这 个 表达 式 趋向 于 0。 则 exp( 一 Mzo) 在 z € Tk £ # , 
定义 ( 右 极限 和 左 极 限 ) BK g(z)£ z, ARRA b 
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lim g(x) =6 (B-11) 

左 极 限 为 a 
lim g(x) =a (B-12) 
对 于 一 个 在 zo( 例 如 在 和 左 连续 ) 处 连续 的 函数 ， 有 a=b, < 


J ñ 3k |z] ñ 6 Z XE A BA z 的 最 大 的 整数 。 对 于 整数 zo 二 n， 它 有 以 
下 右 和 左 极 限 : 
lim ge a Nar T lim [z] 三 7 一 1 (B-13) 


它 是 一 个 右 连 续 函 数 的 例子 . WHER 21 EMER DEAD ce 的 最 小 整数 。 
对 于 整数 z. =n. 它 有 以 下 右 和 左 极限 : 
lim [z] =n+1, lim [z] =n (B-14) 


rn rn 


这 意味 着 它 是 左 连续 的 。 < 
更 强 类 型 的 连续 允许 将 相同 的 6 运用 于 闭 区 间 [cb] (6>a) HEEM. 
定义 (一 致 连续 ) BH g(z)#[a, 6b] 上 一 臻 连续， 如 果 对 每 个 6>>0， 存 在 e 二 0， 使 得 
|z, — z; |< e = | g(z,) — g(xz+) | < Š (B-15) 
对 每 个 zz € [ab MRA, Æ lab] 上 的 一 个 或 多 个 点 不 满足 这 个 定义 的 函数 是 不 连续 的 。 
这 个 定义 意味 着 对 每 个 z € [a,b], 存在 一 个 在 式 (B-1) 第 一 个 连续 的 定义 中 单一 的 
{e,6} 对 ; 则 6 二 6(6 和 在 这 个 区 间 上 一 致 成 立 ， 它 仅 是 8 的 函数 ， 而 不 是 任意 特定 的 zu € 
[a,b] 的 函数 。 如 果 一 个 函数 在 [a,5] 上 一 致 连续 ， 则 它 在 任意 r € [a,b] 处 连续 。 尽 管 
这 个 定义 也 可 用 于 开 区 间或 半 开 区 间 ， 但 可 以 证 明 如 果 g(xz) 在 闭 区 间 [a ,b] 上 的 每 个 点 
都 连续 ， 则 它 是 一 致 连续 的 。 
UED 指数 函数 g(x)=exp(—Az), Q 20), ER’ “上 是 一 致 连续 的 。 证 明 如 下 : 对 
+ |Z, = |<e 
| g(a.) — glx) | =| exp(— Az;) — exp(— àx ) | = exp(— Ax) | exp(— à lz: — zi)) — 1] 
<exp(—Az,) | exp(e) —1|< | expQe) —1| = de) (B-16) 
其 中 在 最 后 一 个 不 等 式 中 ， 我 们 用 到 了 在 zi 一 0 处 exp( 一 MAzi) 取 最 大 值 的 事实 。 对 每 个 
(Ce) 记 0， 我 们 可 以 指定 一 个 e>>0\， 和 使 得 不 等 式 对 每 个 五 ，zER 都 成 立 。 这 在 图 B-3 F 
WAY. ERA g(z) 王 exp( 一 AZz) 在 整个 实数 轴 尺 上 并 不 是 一 致 连续 的 。 








6 间隔 在 ' 
宽度 上 增加 
ôE] 隔 在 zo. > ; : | 
宽度 上 减少 | | 一， | 
x 
antag < é 
h( 闪 的 上 限 不 存在 ， 无 论 
Go si eg hig A 
x 的 增加 在 宽度 上 卉 加 


图 B-3 一 致 连续 函数 g(Cz) 和 不 连续 函数 OHA. BER” 上 (为 了 容易 看 清 两 个 间隔 的 设置 将 纵 
轴 在 1 处 断 开 ) < 
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ETK, SB h(z=)=exp(àz), PASO. *[ D Ë # EB h(x) 对 任意 z€ 
及 + 是 连续 的 ， 但 不 是 一 致 连续 的 。 与 式 (B-16) 类 似 ， 对 |zz 一 Zi | <: 
|h(z;,)—h(zxi)| = |exp(Az;) — exp(Ax,) | 
=exp(Ar,) | exp(à (x: — xı))— 1| 
<exp(Ar,) | expQe) — 1| = 6(z ye) (B-17) 
等 式 右 边 不 能 写成 与 x! AX, E B-3 šE Bl Y A DER’ 上 不 是 一 致 连续 的 。 < 
通常 ， 如 果 存 在 z. ,zx € [a,b] 使 得 对 小 的 e， g(xzi) 和 g(xzs) 都 趋向 无 穷 ， 则 这 个 函 
数 不 是 一 致 连续 的 (因为 ce 一 < 是 没有 定义 的 ) 。 
函数 g(x) 二 1/z 在 [lyee) 上 是 一 致 连续 的 。 观 察 到 由 于 rn, m>1, 有 
|1/zi —1/z; | = | (z; —zi)/ziza |< |z; —zi |. Aik, 我 们 可 以 选 6 一 e( 与 工 无 关 )， 对 每 
wee 一 致 连续 条 件 成 立 : |z, t| <e> |1/=i —1/x=, | <e=ë, < 
稍 后 将 介绍 的 单位 阶 跃 函数 和 符号 函数 在 z= 二 0 处 都 不 连续 ， 而 绝对 值 函数 
es pe pr aa eT 
中 任意 zx， 不 存在 “ 跳 变 ”。 符 号 函数 和 绝对 值 函数 的 相关 性 如 下 : 


T. |z |= janda (B-18) 
由 此 式 可 以 清楚 地 看 到 |z| 的 导数 在 工 二 0 处 不 连续 。 < 
也 有 另 一 类 连续 包括 了 Lab] 上 的 点 序列 。 
定义 (绝对 连续 ) ”函数 g(x) 在 [a,b] 上 是 绝对 连续 的 ， 如 果 对 所 有 6 二 0 和 有 限 的 
> | Lin- Ton < >> | g(r) — glam) | < ë (B-19) 
其 中 对 于 n= 二 1 N, Tab] 的 于 区 间 nE ,Xzn]} 是 互 不 相交 的 。 
这 类 连续 需要 对 任意 有 限 子 区 间 集 ，8 只 依赖 于 e。 注 意 如 果 定 义 了 集合 A 全 LU [zi， 
onle 则 用 第 2 章 的 勒 贝 格 测度 可 推出 式 (B-19) 的 左边 等 价 于 L(A) 二 e。 
URESD 图 B-lb EAT BR g(c)=2'sin(2n/x)# [0,6] (6 请 0) 上 是 绝对 连续 的 。 函 


数 g(x) 二 xsin(2x/x) 在 [0;6] 上 不 是 绝对 连续 的 ， 如 图 B-4 所 示 。 
x sin(2z/x) 


x) = x sin(2n/x) 





-0.5 


0.05 01 0.15 02 025 03 03 04 045 
x 


B-4 pe g(z)= zrsin(2z/z)£E [0.5] (>>0) 上 不 是 绝对 连续 的 < 
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定义 (有 界 变 分 ) BH g(r) lab] 上 有 有 界 变 分 ， 如 果 存 在 有 限 的 M>0 使 得 
See) ele) |< M (B-20) 


对 每 个 排序 点 集 {zo < z Ss <axy} € [a,b] PESAR NEN 都 成 立 。 

注意 到 a 二 xz。 和 65 二 zw， 除 非 间 隔 是 开 区 间或 半 开 区 间 。 可 以 证 明 ， 如 果 g(x) 在 [a， 
bj 上 绝对 连续 ， 那 么 它 在 这 个 区 间 上 也 有 有 界 变 分 。 

在 图 B-la 和 图 B-4 中 已 经 分 别 证 明了 函数 sin(2r/z) 和 zsin(2r/Z) 在 
[0, 5] 上 没有 有 界 变 分 。 不 管 z 轴 在 x 二 0 附近 怎样 变化 ， 对 应 于 式 (B=20) 中 更 小 的 分 区 ， 
我 们 会 连续 看 到 快速 变化 ; 在 [0,， 65] 上 没有 式 (B-20) 中 有 限 的 M 存在 。 另 一 方面 ， 函 数 
Zx"sin(2z/ 工 ) 在 [0,6] 有 有 界 变 分 的 条 件 是 nn 二 1; 图 B-lb £ n=2 对 应 的 图 。 < 

当 我 们 考虑 第 3 章 中 连续 型 随机 变量 ， 以 及 讨论 第 7 章 随机 过 程 的 各 类 连续 时 ， 这 个 
对 连续 性 的 概述 是 非常 有 用 的 。 本 附录 的 剩 下 部 分 ， 定 义 了 特殊 函数 并 描述 了 它们 的 某 些 
属性 。 


B.2 确 界 和 下 确 界 


ENCAR) 集合 ER 的 确 界 是 最 小 上 界 : CALE 中 所 有 元 素 的 最 小 的 实数 。 
当 分 析 间 隔 时 确 界 是 非常 有 用 的 ， 因 为 
sup[a,b) = sup[a ,b] = b (B-21) 
没有 为 = 二 La; 5) 定 义 最 大 值 ， 因为 它 必须 是 集合 中 的 一 个 元 素 ;5 也 不 在 这 个 集合 
中 ， 对 于 任何 2 一 seEE(e>0)， 我 们 总 能 找到 更 大 的 一 个 五 的 元 素 。 最 大 值 也 被 称 为 最 大 
元 素 。 如 果 一 个 集合 具有 最 大 元 素 ， 则 确 界 和 最 大 值 是 相同 的 。 
定义 (下 确 界 ) 集合 下 GE 及 的 下 确 界 是 最 大 下 界 : CHE 中 所 有 元 素 的 最 大 实数 。 
因此 
inf(a,b] = inf[a,b] =a (B-22) 
一 个 集合 中 的 最 小 值 被 称 为 最 小 元 素 ， 没 有 对 如 (a， bj] 一 样 的 半 开 区 间 定 义 。 如 果 一 
个 集合 具有 最 小 元 素 ， 则 下 确 界 和 最 小 值 是 相同 的 。 


B.3 有 序 符 号 


有 序 符号 用 于 表示 一 个 函数 g(Cz) 当 zcoe 时 的 行为 。 
定义 (大 O 〇 符号 ) 对 大 的 z, BK g(x) 是 有 h(x) 阶 ， 如 果 


a gla) . 
lim h(x) Xo (B-23) 


x k k j z C RAS, CRAKORFS, iH g(z)=O(h(x)), 
这 意味 着 ， 这 两 个 函数 以 类 似 的 速率 变化 。 
定义 (小 O 符 号 ) 对 大 的 工 BK g(Cz) 相 对 于 hz) 为 零 阶 ,如 潜 


lim Ta 一 (B-24) 


采用 小 o $ç, WA g(z)=o(h(xz)), 

这 意味 着 ，h(x) 增 加 的 比 g(xz) 快 。 

对 于 多 项 式 g(z) 一 2z3 十 zx 十 1， 我 们 可 以 表述 如 下 : 

ez) = O62")4 VD = ol"), n>3 (B-25) 

由 这 个 简单 的 例子 ， 我 们 看 到 O(C。) 描 述 了 函数 的 “类 型 >。 因 此 OSa 一 个 常数 ， 
O(z)=>a — AR EEA, Or >a 一 个 二 次 函数 。 其 他 常见 情况 是 阶乘 O(xz!). 、 对 数 
O(log(z))#n 48 $£ O(axz)(a>1)。 而 小 符号， 通常 用 来 表示 一 个 取 极 限时 趋向 于 零 的 函 
数 的 高 阶 项 (因此 可 以 被 忽略 )。 对 以 上 的 函数 ， 如 果 我 们 只 对 当 工 变 大 后 的 三 次 项 感 兴 
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趣 ， 它 可 以 被 写 做 g(x)=2x°+o(zx2), < 
B.4 项 函数 和 底 函 数 
ENCA AH) LERH floor 函数 给 出 了 三 x 的 最 大 整数 : 


floor(z=) = Lx] &maxin € Zs.t.n< zx} (B-26) 
定义 ( 底 函 数 ) ZE 及 的 ceil AAA h T Sr HR) eH: 
ceil(>) = [ =] Ë@min(zn € Zs. t.n > x) (B-27) 


B.5 Ame M A 


EMC DY BH) 函数 g(x) 是 四 的 ， 如 果 对 任意 两 个 值 ts, t ER 和 a € [0,1] 
HX: 
glar, + O —a)z;) < ag (zi) + (1 — a)g(m;) (B-28) 
如 果 zi 天 za ， 表 达 式 是 严格 不 等 式 ， 则 函数 是 严格 凸 函 数 。 函 数 尹 (zz) 是 凹 函 数 ， 如 
Rh) h AA., A, wR T 2,422, —h(z)Z P jk hA, MHRA DALEK 
Y) HH. 


Ax) 





a) 
ABS 凸 函 数 g(z) 和 四 函数 h(x) 的 例子 。a) 凸 函数 ; b) MAK 
图 B-5 是 凸 函数 和 四 函数 的 例子 。 凸 函数 用 于 杰 森 不 等 式 ( 见 附录 F) 
B.6 偶 函 数 和 奇 函数 
EXC BAKO DH) BBB oc (a KPRBR go(Zz) 由 在 工 一 0 附近 具有 以 下 特性 


REL: 
gE(X) = ge(— z), gola) =— go — z) (B-29) 
任意 函数 g(Z) 可 被 分 解 为 ， 
g(a) 一 SECzZ) 十 go(Z) (B-30) 
其 中 
ge(x) = [g(a2) + e(—2))/2, gott) = [g(z) — g(— xX]/2 (B-31) 


B-6 中 给 出 了 这 种 分 解 的 一 个 例子 。 既 是 偶 函 数 又 是 奇 函 数 ， 且 满足 式 (B-31) 的 唯 
一 函数 类 型 为 一 个 常数 函数 。 - 


-xX) 
a a g.) 
0 x 0 x 0 x 
a) b) d) 





图 B-6 一 个 分 段 线性 函数 的 偶 和 奇 分 量 。a) g(x); b) g(—z); c) gelr); d) go (>z) 


HRB 函数 和 属性 449 


偶 函 数 和 奇 函数 的 其 他 特性 在 表 B-1 中 不 加 证 明 的 给 出 。 很 容易 看 出 对 有 限 a: 
| socodz=o (B-32) 
表 B-1， 偶 函数 和 奇 函数 的 特性 

















fie (xr) gor (az) £10(2) + goo (z) 
£10(2) g20(2) ge(r)+go0(2) 两 者 都 不 是 
gE(z)go(mz) dge(xr)/dx ë 











&gIECZ) 十 gz2E(CZ) dgo(x)/dzx 


这 个 式 子 在 计算 分 布 的 矩 时 非常 有 用 。 当 得 到 以 下 形式 的 积分 时 
| socDasczdz (B-33) 


我 们 知道 它 为 零 。 例 如 ， 当 计算 奇 函 数 的 原点 矩 ( 见 第 5 章 ) 时 ， 当 fx(x) 为 偶 概率 密度 也 
数 (pdf)( 比 如 零 均 值 高 斯 随机 变量 ) 时 ， 期 望 值 为 零 。 当 计算 期 望 值 时 以 下 特性 也 很 有 用 : 


i giver = 2| ge(xdde (B-34) 
例如 ， 如 果 gr(z)= |x|, pdf fx(z) 也 是 偶 函 数 ， 则 我 们 可 以 得 到 : 
上 | 和 ?| = xcz)dz (B-35) 


这 样 我 们 就 可 以 将 绝对 值 运 算 去 掉 了 。 但 如 果 积 分 没 定义 ， 则 对 a 三 ce 这 些 最 后 的 结果 不 
一 定 成 立 。 柯 西 随机 变量 的 均值 求解 就 是 这 种 情况 。 


B.7 符号 函数 
定义 (符号 函数 ) 符号 函数 为 


— 1 . x ae 0 
sgn(z) ajo. 3 = 0 (B-36) 
ps Es = 0 
尽管 实际 中 通常 是 sgn(0)=1, 
符号 函数 也 可 被 表示 为 : 
sgn(z) = = la |= z/|z| (B-37) 
最 后 一 个 表达 式 中 zx 了 关 0， 它 的 微分 可 写 为 狄 拉 克 6 函数 的 形式 ， 如 下 所 示 : 
sgnCz) = 28(z) (B-38) 
对 复数 工 有 : 
sgn(x) 人 (wp 二 Fjz)/ Waa zt = z/ | z=| (B-39) 


其 中 (rrr) 是 xz 的 实 部 和 虚 部 。 注 意 到 
sgn(X) 关 sgn(zr) 十 jsgn(x1)( 即 使 式 子 右 边 是 
加 性 高 斯 白 噪声 (AWGN) 信 道中 正 交 相 移 键 控 
(QPSK) 信 号 的 最 大 似 然 (ML) 检 测 器 : 见 第 10 
章 )。 取 而 代 之 的 是 ， 复 变量 的 符号 函数 是 复 
平面 的 单位 圆 上 最 接近 z 的 点 ， 如 图 B-7 所 示 。 
随 着 x 的 变化 ， 复 数 sgn(z) 可 以 是 单位 圆 上 任 
意 一 点 ， 而 sgn(zxx) 十 jsgn(z1) 是 仅 有 的 四 个 点 图 B-7 复 变量 的 符号 函数 ，sgn(z) 是 单位 加 
之 一 : +1+j, 上 最 接近 之 的 点 
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B.8 Hs 5 函数 


广义 函数 是 用 来 描述 映射 的 ， 理 论 上 说 它 并 不 是 函数 。 最 知名 的 广义 函数 也 许 是 狄 拉 
克 ó 函数 。 

定义 ( 狄 拉 克 8 函 数 ) WHS BMA: 
A L ° € | aade ali (B-40) 

但 是 ， 这 个 定义 不 是 非常 有 用 。 例 如 ， 如 何 将 男 一 函数 g(z) 与 SCz) 相 乘 并 不 很 清晰 。 
实际 上 我 们 可 以 定义 如 下 乘法 : 

g(z)ëó(z— xo) g(ro )ð lt — mo) (B-41) 

其 中 ， 等 式 右 侧 仍 是 在 同一 位 置 的 8 函数 ， 但 现在 具有 面积 g(Czu)。 这 被 称 为 6(z) 的 采样 
特性 。 在 物理 系统 中 ， 狄 拉克 6 函数 可 以 很 方便 地 描述 冲 激 。 我 们 尤其 感 兴趣 的 是 ， 滤 波 
后 (通过 卷 积 ) 和 利用 积分 变换 时 (如 傅 里 叶 变 换 )8(z) 的 特性 。 从 采样 特性 : 


E PIETY ARET =|" play Oe 2 ham 


òlr) & 


=g) sz 一 za)dz = gis? (B-42) 
这 个 结果 是 C) K jh eH, [SUS E” Hi Y AR g(z) 在 6 函数 所 处 位 置 的 值 ( 通 
过 与 它 相 乘 ) 。 
我 们 还 可 以 将 狄 拉 克 8 函数 看 作 ( 并 定义 为 ) 一 个 单位 面积 的 矩形 在 宽度 趋向 于 零 时 的 
极限 结果 ， 其 高 度 趋 于 无 穷 : 





elx) 全 lim(1/a)rectCz/a) (B-43) 
它 同样 可 以 用 一 个 零 均 值 高 斯 pdf， 当 标准 差 o 趋 于 零 来 描述 : 
sz) = lim =exp(— x’ /20°) (B-44) 


To 

对 任意 co， 它 都 为 单位 面积 。 后 面 还 会 给 出 它 用 sinc 函数 表述 的 定义 ， 如 图 B-9 frm. K 
B-2 总 结 了 狄 拉克 6 函数 的 一 些 有 用 的 属性 。 卷 积 和 筛选 表达 式 是 相同 的 ， 因 为 冲 激 函 数 
是 关于 其 自 变量 对 称 的 。 狄 拉克 ó 函数 在 定义 离散 型 随机 变量 的 pdf 时 非常 有 用 ， 因 为 它 
可 以 被 积分 (例如 求 矩 时 ) 。 


表 B-2 狄 拉克 5 函数 的 属性 










Slax) = (1/ |a | 8(x)(a Z 0) 


采样 E(x) 0(a — zo) = gla) xr — zo) 

筛选 fT eaa roda = g(x) 

卷 积 EEEE — z)dxz = g(x) 

积分 F acordy = u(x) 

微分 òlr) = du(z)/dx 

复合 6(g(7z)) = H(z— zro)/ | g' Co) | 

拉 普 拉 斯 变换 | sc sto dexp(— srydz = exp(— ros) 





定义 (两 变量 的 狄 拉克 8 BH) 二 维 狄 拉克 ó 函数 为 : 
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ti ge ERATA 1 
Rr. 9) a(2)a(y) a | Sel (B-45) 
则 

| | ac;y)drdy =1 (B-46) 
B.9 克 罗 内 克 6 函数 

定义 ( 克 罗 内 克 8 函数 ) 克 罗 内 克 6 BMA. 
I; P P=: IO 
A "8 
LO 全 |。 a (B-47) 


HP REZ, 

其 中 用 到 了 方 括号 ， 这 样 克 罗 内 克 函 数 就 不 会 与 狄 拉 克 8 函数 混淆 。( 符 号 ó, HAF 
RATS 函数 ; 但 我 们 这 里 没有 使 用 ， 因 为 它 类 似 于 第 2 章 中 讨论 的 狄 拉克 测度 。) 它 具 
有 以 下 基本 特性 : 


U RSR 
Anll k AnH) er 
DS) andlk — n]= an (fü 38) (B-49) 


一 一 oo 


其 中 &，nEE。 克 罗 内 克 人 函数 在 定义 概率 质量 函数 (pmf) 时 非常 方便 ， 也 可 用 来 表示 离 
散 时 间 信号 和 系统 。 
定义 (两 变量 的 克 罗 内 克 DR) 二 维 克 罗 内 克 BMA. 


ó[z,y] = alz Joly] A (7 F ka (B-50) 


B. 10 3 rBtEK eg 24 


定义 (单位 阶 跃 函数 ) 单位 阶 跃 函数 为 : 
sm 人 z ety (B-51) 
0; xr<<0 
它 也 被 称 为 海 维 塞 德 阶 跃 函数 ， 有 时 用 符号 HDA, 


单位 阶 跃 消 数 也 可 以 用 符号 函数 来 定义 : 


0, == 
u(x) 2. [1 + sgn(>z)]/2 = | x=0 (B-52) 
F, in > Q 


由 于 z=0 具有 勒 贝 格 测度 零 ， 通常 用 式 (B-51) 中 的 定义 更 方便 ， 这 是 本 书 主要 使 用 
的 形式 ， 尤 其 是 当 wu(z) 定 义 随机 变量 的 定义 域 时 。 式 (B-52) 的 优势 在 于 它 与 符号 函数 定 
义 的 一 致 性 ， 这 样 它 在 x 二 0 时 的 值 就 不 再 模糊 了 (尽管 前 面 提 到 ， 在 实际 中 经 常 使 用 
sgn(0) 二 (1))。 单 位 阶 跃 函数 也 可 由 狄 拉 克 5 函数 得 到 ， 如 下 所 示 : 


nits) = [aay (B-53) 
定义 (离散 单位 阶 跃 函数 ) 离散 单位 阶 跃 函数 为 ， 
x ns E S 
ula | Ae (B-54) 


它 可 以 表示 为 克 罗 内 克 Ó DAHER: 


dal = Veen (B55) 
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B. 11 和 矩形 函数 
TMH HH) 矩形 函数 为 : 
rect(Z) 会 0， |z|>1⁄2 (B-56) 
ARAASI (DAF. 
它 可 以 用 单位 阶 跃 函 数 表 示 如 下 : 
rect(z) = u(x+1/2) — u(x — 1/2) (B-57) 


因为 士 172 的 勒 贝 格 测度 是 零 ， 我们 立刻 得 到 rect(+1/2&1, 虽然 有 可 能 在 r= 1/2 
时 为 零 。 另 一 个 定义 是 z= 士 1/2 时 为 172， 


0, |z|> 4/2 
rect(z) alu a = 2/2 (B-58) 
li, |z = 1/2 


最 后 这 种 形式 与 符号 函数 的 定义 一 致 ， 所 以 sgn(Cz) 可 通过 适当 的 缩放 和 移 位 用 
rect(z) 来 表示 。 基 于 上 述 第 一 个 定义 的 矩形 函数 通常 被 用 来 指定 函数 的 定义 域 ( 参 见 下 面 
的 三 角形 函数 ) 。 

EM BRE AR) 离散 和 矩形 函数 是 : 

TO 


rect[z] 全 |， 其 他 (B-59) 
其 中 NEZ。 
注意 ， 在 数字 滤波 器 设计 中 ,， 这 个 函数 被 称 为 一 个 矩形 窗 。 
B. 12 三 角 函 数 和 斜坡 函数 
定义 (三 角 函 数 ) SAAKA: 
Á l— lels Pere 
tri(z) & (1 — |= | )rect(z/2) = iR (B-60) 
Qs |z|> 1 


有 时 也 用 符号 Alr). 
上 式 通过 适当 截断 1 一 |z| 而 用 和 矩形 函数 说 明 tri(z) 的 定义 域 。 三 角 函 数 可 通过 两 个 
矩形 函数 卷 积 得 到 : 


trite) = rec Supel dó (B-61) 
定义 (斜坡 函数 ) 斜坡 函数 为 : 
， = 
Rix) 5280623, = > 2 ÆN (B-62) 
0, z= 0 


式 (B-62) 中 的 单位 阶 跃 函数 通过 截断 线性 函数 g(z)=<x Z X Y Ra) HELM, it 
对 单位 阶 路 函数 积分 得 到 斜坡 函数 : 


R(x) =| udv (B-63) 
B.13 指示 函数 
定义 (指示 函数 ) 集合 五 的 指示 函数 为 : 
TOFS riS i | (B-64) 
5 E=[a, b], (<b), 8283 T— BE l. 
L, ty a= |. Ae es (B-65) 


0, 其 他 
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开 和 半 开 区 间 的 指示 函数 类 似 ， 用 L. (z), Ta (xz) 和 Ta.) (zx) 表示 。 有 可 能 a= 二 一 co 
或 5 一 ce 或 两 者 都 有 ， 这 种 情况 下 ,用 L. (xz) 表示 。 指 示 函 数 可 以 用 单位 阶 跃 函数 表示 
如 下 : 
Irox (z) = ult) Tad (z) = Kz a), Ha G) = u(z —a) — u(r 6) (B-66) 
它 也 可 以 被 用 于 可 数 集 EE Z 如 
Íy z = T 
101.) la] = I+ [=] = 0, 其 他 (B-67) 
其 中 方 括号 用 来 强调 z 是 离散 的 。 指 示 函 数 在 指定 pdf 的 定义 域 时 是 非常 方便 的 (对 指数 
型 随机 变量 ) : 





fx( =) = Aexp(— às ) Irto. (x) (B-68) 

或 pmf( 对 泊 松 随机 变量 ): 
px[x] = exp(—a)(a* /z1)1,- [zJ (B-69) 

补 集 的 指示 函数 为 : 
0, EÉ 
fear= ( a ay eS =s (B-70) 
对 交集 为 : 
i Er) F 

Imela al On sie (B-71) 


对 于 不 相交 的 集合 五 和 下 的 并 集 ， 我 们 可 以 写 为 Ieus (zx) 二 TE(x) 十 IE(x)。 然 而 ， 如 
果 这 两 个 集合 是 相交 的 ， 必 须 减 去 一 项 ， 如 下 所 示 : 
Isur (z) = Tex) + Ip (x) — Tene (x) = Ig (x) + ID(z)—ICG)I a) (B-72) 
YE REI PTA eR ( 2-49) h R] A A AE. BB PCEU FP) = 
p(E)+ P(F)—P(EF), Sib. 5 章 中 描述 的 指示 函数 的 期 望 属性 : 
e[Ieys(z)] = P(x € EU F) = Pix € E) + Pla € F)— P(x € EF) (B-73) 


B.14 辛 格 函 数 
定义 ( 辛 格 函 数 ) 辛 格 函数 为 ， 


sin( 72) 
sinc(z) 全 — |Ü— 


(B-74) 
nT 


需要 注意 的 是 在 符号 sinc(z) PHA xz 显 式 地 示 出 。 图 B8 为 辛 格 函 数 ， 说 明 对 rEZ 
了 零 值 ) 有 其 他 过 零点 产生 。 这 种 函数 还 有 一 种 不 包括 区 的 形式 ， 主 要 用 在 数学 中 ， 如 下 所 示 : 
Sa(z) A. 0) (B-75) 
它 也 被 绘制 在 图 BS 中 。 也 被 称 为 非 标 准 化 的 辛 格 函 数 ， 它 的 过 零点 发 生 在 除 零 之 外 的 元 
的 整数 倍 处 。 
辛 格 函数 与 伽 马 函 数 ( 在 B-15 节 描 述 ) 的 关系 如 下 : 


sinc(z) = [TA + z)T(1—z)]" (B-76) 
oF ft PR AC A AE JÉ A R E: 89 H EE AY SE : 
susta =| rect(yexpGi2z fz df (B-77) 
me =|" sine(xdexp(— inis idz (B-78) 
这 表明 它 具 有 单位 面积 : 
| sine(x) de = rect(0) = 1 (B-79) 


辛 格 函 数 也 可 以 用 来 定义 狄 拉克 6 函数 ， 如 下 所 示 : 
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limBsinc( Bz ) = (zr) (B-80) 





图 B-8 sinc 和 Sa 函数 
其 中 ， 比 例 值 BART RRAA RHA. KARFA BO. 





图 B-9 Bsine(B,) 对 应 各 种 B (Ë 


B. 15 ”对 数 函 数 


WRAP A H ë B OLS 10 章 ) 的 定义 。 它 也 出 现在 对 数 随机 变量 中 ， 可 用 于 
随机 变量 的 某 些 变换 。 图 B-10 中 绘制 了 自然 对 数 ， 其 中 我 们 看 到 ， 它 是 单调 递增 函数 。- 
习题 10-14 中 证 明了 自然 对 数 是 有 界 的 ， 如 下 所 示 : 

Inir) < =—1 (B-81) 
图 中 也 证 明了 这 点 。 这 个 边界 在 信息 论 中 证 明 各 种 属性 时 非常 有 用 ; 习题 10-19 给 出 了 一 
个 例子 证 明了 互信 息 是 非 负 的 。 只 有 当 z 王 1， 使 得 ln(1)=0 才能 达到 上 限 。 注 意 ， 这 个 
边界 通常 并 不 适用 于 其 他 对 数 底 ， 例 如 ， 图 中 示 出 了 log (z) 在 某 个 区 间 内 超过 al, 

高 于 z 王 1。 我 们 可 以 使 用 下 面 的 公式 在 不 同 的 对 数 底 间 转换 : 
log, (2) = log, (a) log, (z) = log, (x) /log, (b) (B-82) 

因此 ， 如 果 要 计算 log. (z) 的 上 限 ， 可 以 使 用 下 式 : 

log: (x) = log; (e)In(z) < 1. 4427(2—1) (B-83) 
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In(x), 21, tog. (x) 





1 1.5 
x 


图 B10 ln(Cz) 的 上 界 


因为 无 论 是 斜率 还 是 x 一 1 的 纵 坐 标 都 被 比例 因子 1. 4427 改变 了 ， 在 某 间 隔 内 超过 了 
式 (B-83) 中 的 上 限 ， 上 略 低 于 zx 二 1( 此 上 限 没有 在 图 中 显示 )。 
B.16 MS A% 
EX (de 3 BH) 伽 马 函数 为 如 下 定 积分 : 
raya |" exp( 一 工 )dz (B-84) 


其 中 4EC( 虽 然 本 书 中 我 们 只 考虑 实数 )。 
它 具 有 以 下 特性 TC(a 十 1)==aT(a)， 其 中 a 二 nEN: 
Dn) = (n— 1) Pn — 1) = (n—- 1) a —2)**2T'(1) = (n—1)! (B-85) 
对 非 整 数 c， 伽 马 函 数 可 以 被 视 为 阶乘 函数 的 扩展 。 图 B-11 给 出 了 ane. WRB, xf 
于 负 整 数 ， 函 数 在 土 cc 之 间 变 化 ， 而 对 于 正 整数 ， 它 是 阶乘 函数 ( 幅 值 下 移 1)， 由 式 (B-85) 给 
出 。 还 可 以 证 明 ， 对 于 nEN : 
T(1/2+n) =[(2n)!/4"n!] Wx, 
TC(1/2—n) =[(— 4)"n!/(2n) ! J Vr (B-86) 


N 


T(a) 
° 


-5 0 5 
a 


图 B-11 (m3 mee Ca) 
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Hep P01/2)=/xz, (一 1/2) 一 一 2Vx。 欧 拉 - 马 软 罗 尼 常 数 ( 稍 后 描述 ) 与 伽 马 函 数 关 系 如 
下 所 示 : 


r=- iMa) kzi (B-87) 


为 了 便于 参考 ， 我 们 在 表 B-3 PHA TME KAJLA. OAR B-11 回想 一 下 ， 伽 
马 函 数 对 负 整 数 是 无 界 的 ( 士 =c ) ) 。 


表 B-3 lD Ens Iñ 










1272 
vx/2 4 /x/3 
3./x/4 —8 /x/15==—0. 5333 Vx 


15 /x/8=1. 875 Vx 
105 /x/16=6. 5625 Yx 


ao fF uv N KIS 


16 /x/1050. 1523 Vx 
— 32 /x/945==—0. 0339 Vx 


Qo FR An SS pa Be AY BAS} rh FREASA PRE O<b<co, WKAR MALE A ZS to 2, 
函数 ， 


(a,b) afaa Ba De (B-88) 
b 
其 中 ac，p>>0。 显 然 ， FPCae，0) 三 FPCe)。 下 不 完全 伽 马 函数 为 : 
y(a,b) A [2 exp(—2x)de (B-89) 
H yla, eo)=T(a), REA MS pR RH ON FBI ; 
T(a,b) =(a—1)T(a— 1,6) + b“ '!exp(— b) (B-90) 
y(a,b) =(a—1)y(a—1,b) — b= 'exp(— b) (B-91) 


”还 需要 注意 的 是 T(a) 二 Tl(a,， 6b) 十 Y(a，6)。 下 不 完全 合 马 函数 在 表示 一 些 随机 变量 
的 cdf 很 有 用 ， 如 卡 方 分布 。 实 例 绘 于 图 B-12。 它 还 具有 以 下 级 数 展开 形式 : 


° 


y(a,b) = brexp(—b)(a— 1)! > 


b" 
Cat SP92) 


n=0 


y(a,b) 





图 B-12 FA UE PSS yla, b) 
EX Rio ZHR) MMFBRA: 


px) 4 In(T(z)) = P" (x)/T(2) (B-93) 
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其 中 并 GE 及 +，TFCz) 是 伽 马 函数 ，T (x) 是 其 一 般 导 数 。 
它 用 于 描述 一 些 随机 变量 的 微分 炉 h(X)( 见 附录 A), WMA B-13。 


2 
0 
-2 
-4 
-8 
z 
> -10 
-12 
-14 
-16 
-18 
-205 0.5 1 1.5 2 2.5 3 
x 
图 B-13 XX (i PHM (x) 
B. 17 ”贝塔 函数 
定义 (贝塔 函数 ) “贝塔 函数 为 : 
sal raro) 
A 4 一 1 b-1 NA 12 
Blasb) Af x (1 — 2)" vz Ta +b) (B-94) 


#Ħ a, b>0, 
贝塔 函数 关于 其 参数 对 称 ; Blab) = B(b,a), 如 图 B-14 所 示 。 不 完全 贝塔 函数 用 不 
定 积分 代替 定 积 分 得 到 ， 如 下 所 示 


B, tab) af paarde (B-95) 


N 


AN 


ANS 


x 2 — 





图 B14 贝塔 函数 B(a,b) 
TH, Bi (a,b) = B(a,b)。 有 时 为 了 标记 方便 ， 可 使 用 正则 不 完全 贝塔 函数 : 
I,(a,b) Š B,(a,b)/B(a,b) (B-96) 
这 是 归 一 化 的 形式 (这 里 的 符号 不 要 与 指示 函数 混淆 )。 
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B. 18 贝 塞 尔 函 数 
定义 ( 贝 塞 尔 函 数 ) 第 一 类 贝 塞 尔 函 数 可 以 用 麦克 劳 林 级 数 (指定 在 工 二 0 附近 ) 定 义 为 : 


ee (—1)" ioti i 
J.G) = 之 Pepa 2! (B-97) 
KHPaER, Pon) B jk. F-AGENERBKMUA J.C) P a A 5k. 8 Rk j 一 V 一 1 
P to TF PTA: 
I, (x) Aj*J, Gx) (B-98) 


其 中 开 (z) 是 工 的 实 值 函 数 ( 不 要 与 指示 函数 混淆 ) LORAN S J. (ce) HAAR 
是 相同 的 ， 除 了 分 子 中 的 (一 1)" 项 : 


S 


= 1 2'rta $ 
Le) = > RT E F Be (B-99) 
第 二 类 修正 贝 塞 尔 函 数 为 : 
K,(z) 2. (x/2) 
EEN SER PR AY Bas FE B-15。 


n=0 


I, (z) — 1 Ca) 


sin(am) (5-100) 





c) 
图 B-15 贝 塞 尔 函 数 。a) 第 一 类 贝 塞 尔 函 数 J,(x); b) 第 一 类 修正 贝 塞 尔 函 数 工 (z); c) 第 二 
类 修正 贝 塞 尔 函 数 K。(z) 


B. 19 Q 函数 和 误差 函数 


定义 (Q HH) Q 函数 定义 为 标准 高 斯 pdf 下 的 面积 : 


acy Lh yd (B-101) 


V2r t 
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EP z€ R, Q(—~)=1, -Q(co)=0;, Q(0)=0.5 
Q( 一 z) = 1— Q(x) (B-102) 
Q-= 函 数 用 来 表示 高 斯 pdf 的 定 积 分 ， 它 没有 闭合 形式 的 解 存在 。 标 准 高 斯 随机 变量 
的 cdf 可 以 写成 : 





F,(2) = | wl do es 1— Ch (B-103) 


2x 

Q-=- 函 数 的 图 形 如 图 B-16 所 示 。( 注 意 Q@ 函 数 不 是 后 面 将 要 描述 的 马 库 姆 Q@- 函 数 的 一 种 

特殊 情况 ,) 由 于 Q(z) 不 存在 闭合 形式 的 解 ， 表 B-4 给 出 了 一 些 列表 结果 。 但 更 方便 的 是 具有 
一 个 近似 Q(x) 的 闭合 解 的 函数 a 可 以 直接 证 明 对 于 zxER* ，Q(z) 的 上 界 如 下 所 示 : 

: Q(x) < (1/2)exp(— 2’) (B-104) 


erf(x),erfc(x),Q(x) 





a) b) 
图 B16 基于 高 斯 pdf 的 函数 。a) 误差 函数 和 Q 函数 ; b) 虚 误 差 函 数 


表 B-4 Q(x) 和 erfc(xXx) 















































0.0 0. 5000000 1. 0000000 1.8 0. 0359303 0. 0109095 
0.1 0. 4601722 0. 8875371 1.9 0. 0287166 0. 0072096 
0.2 0. 4207440 0. 7772974 2.0 0. 0227501 0. 0046777 
0.3 0. 3820886 0. 6713732 2,1 0. 0178644 0. 0029795 
0.4 0. 3445783 0. 5716076 2.2 0. 0139034 0. 0018628 
0.5 0. 3085375 0. 4795001 2.3 0.0107241 0. 0011432 
0.6 0. 2742531 0. 3961439 2.4 0. 0081975 0. 0006885 
0.7 0. 2419637 0. 3221988 2.5 0. 0062097 0. 0004070 
0, 8 0. 2118554 0. 2578990 2.6 0. 0046612 0. 0002360 
0.9 0. 0184060 0. 2030918 2.7 0. 0034670 0. 0001343 
1.0 0. 1586553 0. 1572992 2.8 0. 0025555 0. 0000750 
171 0.1356660 0. 1197949 2.9 0. 0018658 0. 0000411 
1.2 0. 1150697 0. 0896860 3.0 0. 0013499 0. 0000221 
1.3 0. 0968005 0. 0659921 3.1 0. 0009676 0. 0000116 
1.4 0. 0807567 0. 0477149 3.2 0. 0006871 0. 0000060 
1.5 0. 0668072 0. 0338949 3.3 0. 0004834 0. 0000031 
1.6 0. 0547993 0. 0236516 3.4 0. 0003369 0. 0000015 
1. 7 0. 0445655 0. 0162095 3.5 0. 0002326 0. 0000007 














定义 (误差 函数 ) 误差 函数 是 : 


2 = 
erf(x) 全 二 | exp(— 2° )dv (B-105) 
Vx! ° 


# P z€ Rt, A erf(0)=0, erf(co)=1 和 
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erf(— z) =—erf(z) (B-106) 
误差 函数 是 用 来 表示 标准 高 斯 pdf 下 面积 的 另 一 类 列表 函数 ; 它 也 被 绘制 在 图 B-16a 中 。 
定义 ( 补 余 误差 函数 ) HER, HtRREA DRKELA: 


erfc(x) 41 — erf(x) (B-107) 
因此 
erfc(x) = 2| | exp(— v? )do (B-108) 
ahs 
有 erfc(co)=0, erfc(0)=1, erfe(—co) =2 和 
erfc(— x) = 2 —erfc(x) (B-109) 


它 被 绘 于 图 B-16a 中 ， 表 B-4 提供 了 一 些 数 字 值 。 由 式 (B-101) 和 式 (B-108) 观 察 到 
Q(z) 和 erfc(z) 的 关系 如 下 : 


Q(x) = (1/2)erfce(a/ V2), erfc(x) = 2Qú/2zx) (B-110) 
因此 
Q(x) = (1/2)[1— erf(z/ V2)] (B-111) 
高 斯 cdf 为 
Fx(z) = (1/2)[1 + erf(z/ /2)] (B-112) 
定义 ( 虚 误 差 函 数 ) BRŽA: 
erfi(x) &— jerf(jx) (B-113) 


HP LER, j= /—1, 
需要 注意 的 是 erfi(z) 是 xz 的 实 函 数 ， 如 图 B16b 所 示 。 它 用 在 瑞 利 随 机 变量 的 特性 函数 中 。 
B.20 马 库 姆 Q 函数 
定义 ( 马 库 姆 Q AK) 广义 马 库 姆 Q 函数 为 : 
Q,, (a+b) atl z” exp(— (2? +.4?)/2)Ip-1(ax)dz 


=exp(— (a? + 6)/2) >) (a/b)*T, (ab) (B-114) 


HE mE Z*, (a, b)>0, LDE m HABE BK, 
它 用 在 莱 斯 随机 变量 的 cdf 中 ， 图 B-17 中 绘制 的 是 六 一 1 的 一 个 例子 。 





1 
0 a 
b 0 


图 B-17 m=1H 520 Q-A Q, (a,b) 
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B. 21 泽 塔 (9) 函 数 
定义 ( 歼 曼 泽 塔 函数 ) 黎 曼 泽 塔 函 数 为 : 
a= (B-115) 


a=] 


其 中 5 会 go 十 jw 是 一 个 复 变 量 。 

只 要 Re(s) 王 cc 之 1， 则 这 个 级 数 收敛 。 图 B-18 给 出 了 5(s) 对 应 实 值 * 的 图 形 ， 对 
ao<0， 它 收敛 到 零 ， 对 c>>0， 它 收敛 到 1， 在 s=1 处 有 一 个 极点 。“ 函数 用 在 实 值 s 一 a 的 
“随机 变量 的 pmf 中 ， 它 是 分 布 的 尺度 参数 。 


5 


4 


N WwW 


t(s) 


-10 -5 0 5 10 
S 


图 B-18 SA s A ç RR CCS) 


B. 22 递增 和 递 降 阶乘 
定义 (递增 和 递 降 阶乘 ) 递增 阶乘 为 : 





XxX" 会 z(z 十 1)*…(z 十 n 一 1) (B-116) 
HP LER, n€ V. BERRA: 
(x), &2(x—1)(x—n+1) (B-117) 
除了 z? =(z),=1, iki yh jk P k T cH ZAR, je 
(z), = 2° = 32" +22." = x Fir +22 : (B-118) 
它们 的 关系 如 下 所 示 : 
| (B-119) 
具有 以 下 性 能 : 
(n) xztn-—-l fed 
s= = (ee ) == a (z) (B-121) 


其 中 FPCz) 是 伽 马 函 数 ， 人) 是 二 项 式 系数 。 š reM, 


pm = z+n—1)! 31 


Co 11 a Ca). a PT] (B-122) 
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B. 23 拉 盖 尔 多 项 式 


定义 ( 拉 盖 尔 多 项 式 ) 拉 盖 尔 多 项 式 由 以 下 的 递归 定义 : 
L. (z) &[(2v + 1 —<x)L,(z) — oL, (z) ]/(% + 1) (B-123) 
初始 条 件 为 Lv(Cz) 王 1，LiCz) 王 1 一 工 。 
它们 对 应 于 下 列 微 分 方程 的 解 ，v 是 变化 的 : 


Ley O a 6 k UG (B-124) 
dx dx 
拉 盖 尔 多 项 式 的 显 式 表 达 式 为 : 
U 
| L,(z) = LED oe jut (B-125) 
B-19 所 示 曲 线 为 前 3 个 多 项 式 : 
Lil) =1 +g (B-126) 
L, (z) =z2/2—2xz+1 (B-127) 
L (x) =— z: /6+ 3z22/2—3z+1 (B-128) 


L 





图 B19 拉 盖 尔 多 项 式 L. (z) 


还 包括 工 vz(Cz)， 它 用 在 莱 斯 随机 变量 的 均值 和 方差 中 。 它 可 以 用 第 一 类 修正 贝 塞 尔 
函数 表示 如 下 : 


Li (z) = exp(xz/2)[(1 = z)IL (— 2/2) — xI, — 2/2) | (B-129) 
ALARA. AA POE zÜ Luz(Cz)， 可 以 用 B. 24 节 所 述 的 超 几 何 函 数 表示 。 
B.24 超 几 何 函数 
定义 (合流 超 几何 函数 ) 第 一 类 合流 超 几 何 函 数 是 如 下 无 穷 级 数 ; 
"saa Un 
iF, (a;b;z) & 21 blan] (B-130) 
# tla, RR, (a, bP ARROL B. 22 7), Ha, b>0, % h T ë #.Z X, 
RR: 


TO) 


SEEDS Fe DIII 


PTC ) o B BK, 
这 是 广义 超 几 何 函 数 ,F,(a;6;z) (我 们 没有 给 出 定义 ， 因 为 本 书 中 没有 用 到 这 种 通用 


1 
| vo '(1—v)**" exp(2v) du (B-131) 
0 
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形式 ) 的 一 个 特例 ,1 Fi(a;6;x) 是 下 列 二 阶 微分 方程 的 一 个 解 : 
d? 


z N T EN (B-132) 
dz da 
将 该 方程 与 式 (B-124) 比 较 ， 我 们 看 到 拉 盖 尔 多 项 式 是 一 个 特例 ， 如 下 所 示 : 

L, (ey = F, © 03152) (B-133) 


用 于 描述 莱 斯 分 布 的 矩 的 拉 盖 尔 多 项 式 由 Lo (z) =, Fi ( — n/2; 1; z); Hi, 
式 (B-132) 的 其 他 解 被 称 为 第 二 类 合流 超 几 何 函 数 ， 它 具有 以 下 符号 和 积分 表示 式 


A(a;b;z) = K| n (1+ z)—1exp(— xv) du (B-134) 
(a) Jo 
还 有 几 个 其 他 函数 也 是 第 一 类 合流 超 几何 函数 的 特例 。 包 括 误差 函数 : 
erf(z) = (2z/ Vx), F, (1/2;3/2; — x°) (B-135) 
AE AN 56 & E PRE 
y(la,b) = (b/a) Fi (asa + 1; — z) (B-136) 


这 两 种 式 子 都 可 以 由 式 (B-131) 的 积分 式 推 导出 来 ， 通常 需要 将 变量 转化 以 获得 所 熟 
悉 的 特殊 函数 的 形式 ， 接 下 来 给 出 证 明 。 


对 于 误差 函数 ， 我 们 可 以 写 为 : 


人 SDF wed A ut yau 
= A/V) | (2/ Jodexp(— ur’ )do (B-137) 
fi ERR x? =r, KH do= (2/x=)Vodz, PARA {0,x}, 我 们 得 到 
Q/ | (2/ i ENEE = y, VD)| exp(— 2*)de (B-138) 
正 是 我 们 期 望 的 结果 。 < 


B.25 伯 努 利 数 
定义 ( 伯 努 利 数 ) ” 伯 努 利 数 {B,} 是 由 以 下 级 数 的 系数 指定 的 有 理 数 ， 


z/[exp(z=) — 1] = SIB,z"/n! (B-139) 


eME: B, =1, B,=—1/2, B;=1/6, B,=0, Bs, =—1/30, B;=0,í; B,=1/742, 
B,=0, Bs=—1/30, B,=0, By =5/66 和 By 二 一 174611/330。 注 意 到 如 果 下 标 可 被 表 
示 为 n 二 2m 十 1， 其 中 mEN， 即 对 于 所 有 奇数 n( 除 了 nn 二 1)， 则 B, 二 0。 伯 努 利 数 出 现在 
逻辑 随机 变量 的 中 心 矩 的 表达 式 中 。 


B. 26 调和 数 
定义 (调和 数 ) 广义 调和 数 { 本 ,Co) } 由 以 下 有 限 和 定义 ， 


Ho = > — (B-140) 
m=1 
其 中 ve (1,00), =€ N. 

当 ~>~ce 时 得 到 黎 曼 5 函数 。 一 般 的 调和 数 由 H, 2. H, (1) 给 定 ， 前 10 MAA H, =1, 
H,=3/2, H;=11/6, H,=25/12, H; =137/60, H, =441/180, H, = 3267/1260, H, = 


6849/2520, H,=64161/22680, Hy 二 66429/22680。 调 和 数 与 伯 努 利 数 关 系 如 下 : 
H, = In(n) + y + (1/2n) — (1/2) $} Bann /m (B-141) 
其 中 7yY 是 了 27 节 描 述 的 欧 拉 一 马 软 罗 尼 常数 。 从 上 式 ， 我 们 看 到 当 n RE KEIH,=zIn(n) +y. 
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B. 27” 欧 拉 - 马 歇 罗 尼 常 数 
定义 ( 欧 拉 - 马 歌 罗 尼 常数 )” 欧 拉 - 马 软 罗 尼 常 数 由 以 下 极限 定义 : 
y 人 lim[ 31 A/m — Inm) > 0. 5772 (B-142) 


CHRALEMMEREOMD BARRA h(X)P, ARM kh r0)=ln)> 
X(s)= —[In(s) +y]/s 中 。 


B.28 狄 利克 函数 
定义 ( 狄 利克 函数 ) KIERRE: 
| D(z) &Ig[z] = 


其 中 FER, Ilo[Lzxj 是 高 散 的 指示 函数 。 
它 是 一 个 黎 曼 不 可 积 函 数 的 例子 ， 是 处 处 不 连续 的 。 但 是 狄 利 克 函 数 是 勒 贝 格 可 积 
的 。 例 如 ， 它 在 L0,1] 上 的 勒 贝 格 积分 为 零 。 


进一步 阅读 


这 些 函 数 可 在 许多 数学 手册 以 及 各 章 最 后 所 列 参 考 文献 中 找到 。 包 括 如 下 : Beyer(1976), Bracewell 
(1978), Gradshteyn 和 Ryzhik (1980), Kreyszig (1979), Sokolnikoff 和 Redheffer (1966), Thomas 
(1968), Weisstein(2003), Zwillinger 和 Kokoska(2000)。 


1, x€ Q 


(B-143) 
0, r€ R—Q 


附录 C 
频 域 变换 及 性 质 


本 附录 给 出 了 连续 和 离散 时 间 函 数 频 域 变换 的 定义 ,总结 了 重要 性 质 ， 还 包括 几 个 变 
换 对 列表 。 


C.1 拉 普 拉 斯 变换 


定义 ( 拉 普 拉 斯 变换 X(s)) 对 1E 及 ，z(Ci) 的 拉 普 拉 斯 变换 为 ; 
X(s) =~ fi a(texp(— adde (Rid) (C-1) 


其 中 会 c 十 jwEC 是 单位 为 的 复 变 量 。 实 部 o 是 奈 培 频率 ( 奈 培 / 秒 )， 虚 部 由 是 角 频 率 
(弧度 / 秒 ) Ws (ROC) HLT X(s) 存 在 条 件 下 c 的 范围 。 

式 (C-1) 是 双边 拉 普 拉 斯 变换 。 对 单 边 拉 普 拉 斯 变换 ， 积 分 具有 有 限 的 下 限 ， 通 常 
EF: 


X(s) A | exp war ( 单 边 ) (C-2) 


当 zx(z) 仅 在 上 过 0 时 非 零 ， 单 边 和 双边 拉 普 拉 斯 变换 是 相同 的 ， 这 可 以 通过 写 为 z (t) 
ul 四 来 强调 ， 其 中 u(z) 是 单位 阶 跃 函数 。 拉 普 拉 斯 反 变 换 为 : 


joo 
x(t) 一 | XGOexp(s)ds (C-3) 


其 中 积分 是 沿 平行 于 虚 轴 的 线 进 行 的 ， 并 且 c 在 ROC 范围 内 。 但 是 ， 当 X(s) 是 一 个 有 理 
函数 时 ， 通 常 更 容易 做 部 分 分 式 展开 (PFE) ， 并 由 变换 对 列表 来 查找 z(t)。 图 C-1 示 出 了 
平面， 总 结 了 四 类 基本 函数 各 自 的 ROC. 





tenis) | < 10 Sil Im(s) im(s) 
Y 
7 < 
X PAS 
ROC: alla ROC: a<o, ROC: 0 <03 ROC: 04 <0 <o; 
a) b) c) d) 


图 C-1 s Fi Al XH ROC, a) 持续 时 间 有 限 的 函数 ; b) AARG c) 左 函 数 ; d) 双边 函数 。 
如 果 ROC EEGA, RRA RH BE), AERE <0, wo >0, WME oa>, 
则 拉 普 拉 斯 变换 不 存在 


# C-1 总 结 了 单 边 拉 普 拉 斯 变换 的 几 个 属性 ， 有 的 变换 对 已 在 表 C2 中 给 出 。 回 想 一 
下 ， 两 个 连续 时 间 函 数 的 卷 积 为 : 


DADAS ahed = | hoza- Ddr (C-4) 
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表 C-1 拉 普 拉 斯 变换 的 属性 






拉 普 拉 斯 变换 
aX i(s)+a X; (s) 










åixı lt) +azr(t) 









时 移 性 a(t—ty) expl —tos) X( s) 

尺度 特性 x(at) (1/|a@| )X¢s/a) 

频 移 特性 explsot) x(t) X(s— so) 

导数 dx (t) / dt" s"X (s) 

积分 | edr C1/s)X(s) 

卷 积 x(t) * h(t) X(s) H(s) 

互相 关 x(t) * h(t) X(—s) H(s) 

乘法 r(ORhCD a2 |” X(v) H(s—v)do 
Ca 






表 0-2 拉 普 拉 斯 变换 对 





By iat x(t) ROC( a =Re(s)) 
















a(t) 1 IE 及 
t"exp(—at)u(t) nl ista) t s> —a(n€ Z) 
t"exp( —at)u( —t) < s< —a(nE Z) 
exp(—a |e | ) 2a/(a* —s*) —a<o<a 
cos(wot)ult) s/ (sË +e) a> 0 

sin(wot) u(t) wo / ( sŠ + aQ ) o>0 
cosh(at)u(t) (sa) o> |a| 
sinh(at) u(t) a/(s*—a*) o> |a] 

exp( —at)cos(oot)u(t) (s+a)/[(s+a)2 +] o>—a 





exp( —at)sin(wot)u(t) on /L(s+a)? +o J 





o>—a 


这 是 一 个 对 称 操作 x(t) x ACD) X(5) Hs) =H(s) X(s) >A) + z(t)。 它 们 的 互相 关 为 : 
a(t) * h(t) af X(t h(t t)dr = w Eae t)hlr)dr (C-5) 


一 CD 一 5 


它 不 同 于 卷 积 ， 不 是 一 个 对 称 操作 : 2) xh(t) 一 了 X( 一 s)H(s)。 需 要 注意 的 是 有 些 书 用 
交换 式 (C-5) 中 的 变量 的 位 置 来 定义 互相 关 。 本 书 使 用 这 种 定义 ， 因 为 它 与 第 6 章 中 集合 
互相 关 函 数 类 似 ， 

本 书 中 ， 单 边 拉 普 拉 斯 变换 主要 是 作为 求解 代表 因果 线性 时 不 变 系统 (如 线性 电路 ) 的 
常 系数 线性 微分 方程 的 一 种 手段 。 对 这 样 的 因果 系统 ， 在 表 C-1 的 导数 属性 被 修改 为 : 

TID XO — Ds zm (07) (C-6) 

其 中 ，zm OR cH m GSR, 2°" (0) OR SIGE t=0 ALANA. TFS 0 表示 在 三 0 
时 可 能 存在 的 任何 不 连续 之 前 所 定义 的 初始 状态 (如 电压 源 在 那个 时 间接 通 )。 拉 普 拉 斯 变 
换 也 可 用 于 功率 谱 密 度 (PSD)， 在 这 种 情况 下 需要 双边 形式 ， 因 为 自 相 关 函 数 是 双边 的 
( 它 是 一 个 偶 函 数 )。 
考虑 自 相 关 函 数 : 





Rxx (z) = 5exp( 一 2|r|) (C-7) 
其 拉 普 拉 斯 变换 为 以 下 的 PSD: 
0 0 
Sxx (s) =s exp(2r)exp(— sr)dr + s. exp(— 2r)exp(— sr)dr 


teg 8. ! “° gç å 
sR oe) 
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它 与 表 C-2 中 结果 匹配 。 第 一 个 积分 对 Re(2—s)>0 KK, # Z| o 二 2， 第 三 个 积分 对 
Re(2+s)>0 kk, BA > —2, M| ROC 为 一 2 二 co 二 2。 正 如 预期 ， 它 包括 虚 轴 ， 因 为 
Rxx (Tt) 是 一 个 有 界 函 数 。 

20 





图 C-2 例 C-2 的 冲 激 响应 函数 a 
eee 接 下 来 ， 我 们 求 以 下 传递 函数 对 应 三 个 不 同 ROC 的 拉 善 拉 斯 反 变换 : (Do>3; 
(De<—3; (il) -3<0<3, 
(s— 1) _ _a b 


H(s) = 12 ——— — (C-9) 
s — 9 s=3.° 8-3 
ROC HUFS FAEERE L: Ci ){o>—-3}) NM {o>3}; ( || ) (ws =$) 1 (a 835 
( 痢 ){o 宇 一 3)} 门 {fo 过 3)。 对 三 种 情况 式 (C-9) 分 子 中 的 系数 以 同样 的 方式 得 到 : 








a =H(s)(s—3)|,-3 = 24/6 = 4 (C-10) 
. b =H(s)(s +3) |=- = 48/6 = 8 (C-11) 
则 
4 8 
H(s) = 人 (C-12) 
ROC 决定 了 每 项 的 拉 普 拉 斯 反 变 换 。 对 于 情况 (i ))， h(t) 是 一 个 右 函 数 : 

h(t) = [4exp(3t) + 8exp(— 3t) Ju(t) (C-13) 

对 情况 (ii 7)， 它 是 一 个 左 函 数 : 
h(t) =— [4exp(3t) + 8exp(— 3t) Ju(— t) (C-14) 


从 图 C-1d RFS, RABRUDSATREHAD, HH ROC 包含 虚 轴 。 它 是 一 个 双 
oR: 
h(t) =— 4exp(3t)u(— t) + 8exp(— 32) u(t) (C-15) 
将 这 三 个 函数 都 绘制 在 图 C2 中 。 观 察 到 由 于 h(t) 的 有 界 项 使 得 右 函 数 出 现 轻 微 下 
降 ， 但 很 快 无 界 项 成 为 主导 。 对 于 双边 函数 ,t= 二 0 处 的 值 为 4， 此 处 有 一 个 不 连续 。 < 
C.2 连续 时 间 傅 里 叶 变 换 
定义 ( 傅 里 叶 变 换 X(w)) ziER 及 ) 的 连续 时 间 傅 里 叶 变 换 是 ; 
X(w) 全 | zoep jot) dt (C-16) 


3t P o Z f6 38 3, 
EXE s=jo EB c 王 0) 代 人 双边 拉 普 拉 斯 变换 X(s) 得 到 的 ， 假设 ROC 包含 虚 轴 
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(如 图 C-1 所 示 的 四 种 情况 )。 傅 里 叶 反 变换 为 : 


二 去 | XCOexpGe Dao (C-17) 
由 于 角 频 率 与 频率 的 关系 为 w=2rf, (BOER WAAL FA EAT : 

XP A| x(dexp(—j2nftrde (C-18) 

20) = X(PrexpG2nftddf (C-19) 


f 的 单位 是 *-: ， 称 为 赫 效 (Hz)， 也 用 周期 /秒表 示 。 表 C-3 总 结 了 传 里 时 变换 的 几 个 
属性 ， 表 C-4 还 给 出 了 以 频率 或 角 频 率 表示 的 一 些 传 里 叶 变换 对 。 本 书 中， 我 们 主要 对 伟 
里 时 变换 如 何 用 于 PSD 和 特征 函数 感 兴趣 。 


表 C-3 傅 里 叶 变 换 的 属性 
me 


线性 alzl(i) 十 az2z2(zt) a; Xı Cw) +a2X2(w) 





傅 里 叶 变换 (及 
a, Xi (f)+as, X: ( f) 


































































时 移 性 xlt— to) expl —jwto) X (w) expl —j2xz fto) X(f) 

尺度 特性 | (an A/ |a |) X&%/a) (1/|a|)XCf/a) 

频 移 特性 exp(jeot)z(t) Xlw— w) X(f— fo) 

导数 dx (t) / dr" (jw)"X Cw) GXP) 

积分 f x(r)dr (1/ja) X(w) + 2X(0)8(w) (1/j2xf) XC + (1/2) X(0)8( f) 
卷 积 x(t) * h(t) X(w) H(w) XINH 

互相 关 x(t) * A(t) X(—w) H(w) X(— )H( P) 

自 相 关 x(t) * x(t) | XCw) |? | xc) |° 

乘法 r(Dh(0) (1/2n) F: Evie ode [xw od 

面积 x(0) Q/2n) | Xw [i xcpar 











[mae azzo | | Xoo) | "do ] | XP | ?df 






表 0-4 MEHER 


时 域 x(t) 





傅 里 叶 变换 XI) 


G(t) 1 1 

1 2xd(w) ac f) 

u(t) nO(w) + 1/jo (1/2)8( f) +1/j2xf 

sgn(t) 2/jw 1/jxf 

1⁄t —jxsgn(w) 一 jxsgn( f) 

cos(wot) xl wan) +8(o--ao)] (1/2)£8Cf—wo /2x)+8( f+a0/2x)] 
sin(wot) jxld(wt wo) — (o — oo) ] (j/2)[8( f+ an /2x) —8( f—wo/2x) ] 
exp(—at)u(t) 1/Gw+a)(a>0) 1/G2nf+a)(a>0) 

exp(—a |t | ) 2a/ Ca? +a*)(a>0) 2a/ (4n? f? +a*)(a>0) 

expl —at?) J x/aexp(a? /4a)(a>0) Jxjaexp( — x? f2/a)(a>0) 

rect(t) sinc(w/ 2x) sinc( f) 

sinc(t) rect(w/ 2x) rect( f) 

sinc? (t) tri€w/ 2x) tri( f) 

tri(t) sinc? (w/2x) sincz( f) 





(2z/T) >) &w—2xm/T) 


m= — 


> 6(t— mT) 


m= —o 


(1/T) >) a f—m/T) 


m= —c 
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ees) 例 C-1 中 自 相 关 函 数 的 全 里 叶 变 换 通 过 将 5 二 jw 代入 式 (C-8) 得 到 : 
20 va 
Safed T y yr =i ot +4 — 
这 与 表 C-4 中 结果 一 致 。 < 
因为 表 C-3 假定 函数 为 实 值 函数 ， 则 Hw) =H" (o), EPERE., A 
th, StF AAS RHE. r) +h >X (w)H(w)。 当 h(t) 二 z(t)， 就 得 到 了 自 相 关 特 性 : 


xlt) x rlt) |X) |, ESIHTR PMMA RBC. XONER. 由 | zDDqr 给 


出 ， 可 由 其 傅 里 叶 变换 模 的 平方 下 的 面积 得 到 ， 这 意味 着 |X(o) | 是 能 量 密度 。 因 此 ， 
x(t) k >| X Cw) |? 是 随机 过 程 X(CDO 的 集合 自 相 关 函 数 的 确定 性 表现 形式 ， 它 的 傅 里 
叶 变换 是 一 个 PSD: Rxx(z)**Sxx (w). 

Whee 一 个 连续 随机 变量 的 特征 函数 为 : 


@x Co) = ELexpiwX)] = | f(x expGue dex (C-21) 


它 是 概率 密度 函数 (pdf) Fx(Cz) 的 傅 里 叶 变 换 ， 但 w 一 一 w。 因 此 ， 表 C-3 中 所 有 属性 都 可 
用 于 特征 函数 ， 将 w 替 换 为 一 w( 或 了 蔡 换 为 一 有 后 表 C-4 中 变换 对 也 可 用 。 例 如 ， 对 于 
pdf 为 Fx(z) 王 Mexp( 一 MAZ)x(Cz) 的 指数 随机 变量 ， 我 们 从 表 C-4 得 到 : 





Px lw) = A/(A— jw) (C-22) 
但 是 并 没有 多 少 pdf 是 表 中 的 “标准 ”函数 。 本 书 中 提 到 的 连续 随机 变量 的 特征 函数 在 
附录 A 中 给 出 。 < 
C.3 Zz 变换 
定义 (= 变换 X(Cz)) 对 于 REZ，zLR] 的 过 变换 为 ， 
X (z) & Stele (双边 变换 ) (C-23) 


其 中 = 全 rexp(jo) 是 一 个 复 变量 。 对 zx 平面 上 的 某 些 ROC， 比 如 图 C-3 所 描绘 的 四 种 基本 
类 型 序列 ， 上 式 的 和 收效 于 XO). 





ROC: r, < |z! < r, 
d) 


图 C-3 xz 平 面 和 X(z) 的 ROC。 单 位 圆 由 |z| =1 定义 。a) 有 限 持续 时 间 序 列 ，b) 右 序列 ; c) Z 
序列 ; d) 双边 序列 。 如 果 ROC 包括 单位 圆 ， 则 序列 是 有 界 的 (稳定 的 )， 这 意味 着 ri 过 1 和 
rel, WE n>r: W = 变换 不 存在 


第 1 章 已 介绍 了 对 连续 时 间 信 号 z(t) 均 匀 采 样 生成 离散 时 间 序 列 zLkj] 时 所 对 应 的 从 s 
平面 到 x 平面 的 映射 。 对 单 边 拉 普 拉 斯 变换 ， 积 分 具有 有 限 的 下 界 ， 通 常 为 零 : 


X(z) A JY rlkl] (#4) (C-24) 


k=0 


% [RE ASO 是 非 零 时 ， 单 边 和 双边 的 z 变换 是 相同 的 ， 这 可 以 通过 写 为 
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— 其 中 [£ ] E E ñ BJ AA r EK eR. 
考虑 下 面 双边 离散 时 间 序列 : 


z[k] = agl*| (C-25) 
# Pa fa || <1 是 实数 。 am z RRA 


Xe =a 5) (B tad) (fe) y =a) pe)" tr ra (C-26) 
k=—co 


其 中 第 一 个 求 和 项 代入 了 四 一 一 上 。 第 二 EE NG io Pee 
£ #|0z |< |z| >] ake. 4h A Ri Heb eM m=0 时 的 a 值 做 如 下 
处 理 : 
X(z) =a) (pe) =e er i= pe = 和 — a+ -一 和 一 (C-27) 
4 |pel<1 即 |z| <1718| 时 政策 。 Be Pure 需要 |B| 过 1, 正如 
我 们 的 假设 。( 如 果 |B| 汪 1， 不 存在 ROC， 因 为 |z|< 过 1/18| 和 |z| 放 1B| 不 重叠 )。ROC 包括 
单位 圆 |z| 王 1， 这 对 于 一 个 有 界 序列 是 必须 的 。 将 以 上 各 项 合并 ， 我 们 最 终 得 到 
X(z) {A Es al — Be Ml — Bz) +a = gx) 
Cl — ge"). — Bx) 
la a(l — È) ' 
~ (1— Bz") — Bz) ia 
这 对 计算 PSD( 见 第 8 章 ) 非 常 有 用 。 特 别 是 对 于 以 下 的 PSD: 
b 





Sxx (z) = —— (C-29) 
(1— a") —az) 
我 们 可 以 马上 写 出 对 应 的 自 相关 函数 : 
Rxx Lm jet (C-30) 
这 种 类 型 的 PSD 在 维 纳 滤波 中 经 常 出 现 ( 参 见 第 11 章 )。 < 
考虑 以 下 右 ( 因 果 ) 序 列 [E ]=atu [E] z RR, ROP a 9 — 348; 
H(z) =} — (C-31) 
— 4 


它 的 ROC 3 z=>|a|. mRlal<l, 2JF212 8309, Ak, ROC g 2 3 k R]. H(zx) W E 
的 平方 为 : 

(LAG SE (x) el (C-32) 

(z— a) (z")— a) 

(这 个 表达 式 与 HOH 1) 是 不 一 样 的 ， 它 是 具有 单位 方差 的 白 噪声 输入 线性 系统 时 产 

生 的 输出 的 PSD。.) 定 义 z&c+jd, 我们 可 以 得 到 以 下 实 值 函 数 : 

git e + d° w; c + d° 

Hú] puri mee ee ae oe 

通常 我 们 不 讨论 式 (C-33) 中 的 形式 ， 因 为 它 是 两 个 变量 (c 和 aq) 的 函数 ， 如 最 后 一 

个 表达 式 所 示 ( 它 也 可 以 被 写 为 半径 和 频率 四 的 函数 )。 相反 ， 我 们 对 离散 时 间 传 里 叶 

变换 (DTEFT) 的 幅度 平方 | 五 (jwo) | 进行 检测 ， 因 为 它 是 单 变量 由 的 函数 (在 C.3 节 定 

义 )。 使 用 式 (C-33) 中 的 形式 是 因为 我 们 要 查看 图 C-4a 所 示 三 维 图 中 的 极点 (z 一 wa 一 

0.9) 和 零点 (z= 二 0)。( 为 了 便于 查看 ,我们 用 了 对 数 坐 标 。 通 过 选择 坐标 轴 的 分 辩 率 使 得 

c 接近 Re(z)=0 和 Re(z) 王 0.9， 但 不 很 精确 ， 当 然 要 使 < 等 于 这 两 个 值 ，10log | H |° 要 

分 别 趋 向 于 一 cc 和 co， 这 在 图 上 画 不 出 来 )。 图 C-4b 中 的 函数 为 | 百 (z)|2?， 沿 实 轴 c 王 Re(z) 

(d= 二 0) 计 算 ， 这 是 对 前 一 个 图 的 “切片 ”DTFT HCjw) 的 幅 值 平方 如 图 C-4c 所 示 。 它 是 通过 

计算 单位 圆 上 的 z 变换 得 到 的 : z 二 exp(jw) (半径 r= 二 1)。 在 z= 二 0.9 处 的 极点 使 得 频率 响应 具 


有 低 通 滤波 器 的 特性 。 


10log(IH(2)l) 





10log(IH(z)E) 


= 
s 
= 
3 
2 


-3 -2 -1 
@ 


c) 
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图 C-4 例 C-6 中 有 一 个 实数 零点 (z= 二 0 处 ) 和 一 个 实数 极点 (z= 二 a 二 0.9) 的 一 阶 系 统 的 z 变换 。a) z R 
面 上 的 10log | H(z) |°; b) 实 轴 上 的 10log | H(z) | (对 应 z==c 十 jd 中 的 c);c) 在 单位 圆 上 的 


10log | H(z) 





CHM r=1 时 z<=expGw) h w). Hw) DTFT 


K C-5 总 结 了 = 变换 的 几 个 属性 ， 表 C-6 给 出 了 一 些 变换 对 。 注 意 到 正弦 和 余弦 是 一 
般 的 连续 时 间 函 数 ， 我 们 在 表 中 仅 在 wo 的 整数 倍 对 它们 进行 分 析 。z 的 反 变 换 由 以 下 积分 


给 出 : 






线性 
时 移 性 
时 间 反 向 
几何 加 权 
时 域 加 权 
卷 积 

互相 关 


乘法 


帕 斯 瓦 尔 


Hye stl x( 
2xjJc 


RCS z 变换 的 属性 


aixi[k|+asr2[k] 
z[k—ko] 

到 [一 种 
atzLk] 
kr[k] 

z[k] # ACK] 
alk] * hlk] 
z[k]JA[ k] 


> =[k]ALk] 


二 一 一 co 





z)z l dz 


(C-34) 











a Xi (z) +a2 X: (z) 
z ko X(z) 

X(z=1) 

X(za-1) 
—2dX(z)/dz 
X(z) H(z) 
X(z27) H(z) 





(1/2nj) J Xv) H(zo-1)u-1do 


(1/2z;) XW Her )u-1du 
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表 C-6 z 变换 对 





时 域 X[k] Roc( |z | =r) 

















6[k] 1 |z| ER 

atu[k] 1/1—az-!) |z|>|a| 
atu[—k—1] —1/(1—az™!) |z|<|]a| 
kaku [k] az~'/(1—az—")# |z|> || 
katu[—k—1] —az™! /(l—az™! )? |z| 二 |a| 
k'aku [k] az (1+az-1)/(1—az-1)3 |z|>|a| 
Ratul[—k—-1] —az—!(1+az7!)/(1—az7!)3 |z|<|a| 
at cos(wok) ul hk] [1—acos(a»)2~! ]/(1—2acos(an 27! +a?z-?] |z|>|al 





atsin(oo Rul k] asin(a» )z~'/L1—2acos(a)z~! t+a?z7? ] 





|z|>|a| 





其 中 C 表示 在 ROC 中 沿 逆 时 针 方 向 形成 的 封闭 轮廓 。 当 X(z) 为 有 理 函 数 时 ， 通 常 更 容易 
使 用 PFE 或 柯 西 留 数 定理 来 计算 这 个 积分 ， 我 们 将 不 加 证 明 地 给 出 柯 西 留 数 定理 。 

定理 C-1 ( 柯 西 留 数 ) 假 设 Ni 个 极点 {p,) 在 C 的 轮廓 内 ，N, 个 极点 {9,}) 在 C 之 外 。 
下 面 两 个 表达 式 可 用 来 得 到 = 的 反 变 换 : 


z[k] = 2 Res[X (e)z ,b.] (C-35) 
N, 
alk |= = DpResl X(2)2" qJ — Res[ X(z)z*! ,ce] (C-36) 
HP Res[。， 记 ] 是 在 极点 panau, 对 于 在 p, 处 的 NN 阶 极点 ， 留 数 为 : 
Res X(2)2"" 加] = <= i lim 1 oe ((2— pa)"X (2) 2} (C-37) 
对 p, 处 一 阶 极点 ， 上 式 简 化 为 以 下 的 表达 式 : 
ResLX(z)z*"', pa] = lim(z— p,) X(z)2*" (C-38) 
=$, 
无 穷 远 处 的 一 阶 零 点 的 留 数 为 
Res[X(z)z 1 ,co] 三 一 limzX (z)z“ ` (C-39) 
无 穷 远 处 的 高 阶 零点 的 留 数 为 零 。 
注意 到 z= 二 co 处 的 零点 相当 于 z= 二 0 处 的 极点 ， 如 例 C-7 所 示 。 < 


再 次 考虑 式 (C-29) 中 的 PSD， 其 中 a<1 为 实 值 ，ROC 为 a< |<|<1/a, # 
图 C-4d 所 示 ， 其 中 六 二 &， 关 三 1/a。 在 & 处 的 极点 与 HARER Ram] ALRK, 在 
1/a 的 极点 则 与 自 相 关 函 数 的 左 侧 相关 联 。 使 用 柯 西 留 数 定理 ,我 们 注意 到 对 m 的 茶 些 值 
更 容易 计算 在 a 处 的 留 数 ， 而 对 于 其 他 值 ， 优 先 计 算 在 1/a 处 的 留 数 。 首 先 ， 将 PSDR 
以 z”') 重 新 排列 为 以 下 的 “标准 形式 ”; 
SaD =— ae (C-40) 
H 2 + P z" 决定 的 极点 的 数目 随 m 改变 ， 它 反 过 来 又 决定 了 哪个 留 数 更 容易 计算 : 
= 0= 没有 附加 的 极点 之 在 4 或 1/a 处 计算 留 数 
> e= TETT (C-41) 
二 0 之 在 0 处 有 附加 的 极点 过 在 1/a 处 计算 留 数 
因为 m>0 不 会 在 单位 图 内 引入 任何 附加 的 极点 ， 式 (C-35) 可 用 于 计算 在 a 处 单一 极点 
的 留 数 。 如 果 式 (C-35) 用 于 m<0 时 ， 我 们 可 能 需要 计算 在 单位 圆 内 附加 的 极点 (在 一 0 处 ) 
的 留 数 。 此 时 应 该 用 式 (C-36)， 它 通常 也 要 求 我 们 计算 在 无 穷 远 处 的 一 阶 零点 的 留 数 。 因 此 
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Res[Sxx (z)z2”!,a], m > 0 
Rxx [m] =<— Res[Sxx (z)z2” 1! ,1/a] 
— Res[Sxx (z)z2”1,co], m<0 
m 一 7 | | 
a a ea 


这 正 是 式 (C-30) 中 的 结果 。 注 意 到 在 这 个 例子 中 对 应 m 一 一 1 在 无 穷 远 的 留 数 恰好 为 零 。 < 
C.4 离散 时 间 傅 里 时 变换 
TMC BRN DEL EK XX(jw)) 对 于 kEZ，x[k] 的 DTFT A: 


-2 


X(jw) 全 >) z[k]exp(— jak) (C-43) 


k=—co 


其 中 j 出 现在 X(jw) 的 变量 中 是 为 了 将 DTFT 与 连续 时 间 傅 里 叶 变 换 X(o) 区 分 开 ( 符 号 
Xl(e”) 也 被 用 于 DTFT)。 

DTFT 与 离散 傅 里 叶 变 换 (DFT) 是 不 一 样 的 ， 它 是 离散 频率 的 防 数 。 众 所 周知 ，DFT 
是 一 个 有 用 的 变换 ， 是 因为 它 在 快速 傅 里 叶 变换 (FFT) 实 现 中 的 计算 优势 。 在 本 书 的 所 有 
问题 中 我 们 并 不 直接 使 用 DFT， 因 此 此 处 不 再 对 其 进行 讨论 (除了 提 到 DFT 可 以 通过 在 单 
位 圆 上 对 o 均匀 采样 而 由 DTFT 得 到 ) 。 

DTFT 可 通过 计算 单位 圆 上 的 X(z) 由 双边 z 变换 得 到 ， 其 中 z=exp(jo)(r=1), X 
意味 着 XDK ROC ati | =| =1, š DTFT 为 : 


< y a Ka 4f XU east ier bido (C-44) 


可 以 直接 证 明 当 z 的 反 变换 中 积分 的 轨迹 沿 单位 圆 进行 ， 且 限制 在 [一 zx， 了 之 间 
时 ， 通 过 将 xz 一 exp(jw) 和 dze=jexp(jw) dw 代入 式 (C-34)， 可 使 这 个 表达 式 等 价 于 z ËJ E. 
变换 。 表 C-7 总 结 了 DTFT 的 几 个 属性 ， 表 C-8 给 出 了 一 些 变换 对 。 注 意 到 rectLzj] 是 附 
BPE HBR RR. WERE {一 (N 一 1),…,(N 一 1)) ERIESH. sinc(Wk) 
是 通常 的 连续 时 间 函 数 ， 但 在 表 中 只 计算 W 的 整数 倍 处 的 值 ， 它 的 DTFT BEAM 
形 函 数 。 与 连续 函数 的 傅 里 叶 变 换 一 样 ， 我 们 主要 对 DTFT 如 何 用 于 PSD 和 特征 函数 
有 兴趣 。 


表 C-7 DTFT 的 属性 


















ayzi[k] +a z+ [k] 
z[k—ko] 


a, Xi (jw) +a? X2 (jw) 
exp( —jwko) X (jw) 








时 间 反 向 a[—k] X(—jw) 
几何 加 权 atz[A] X(jw/a) 
时 域 加 权 k=[Ë] jdX Ges) /de 
卷 积 atk] * ACA] X (jw) Hw) 
互相 关 afk] * ALK] X(—jw) H Go) 
自 相关 a[k] * z[k] | X Cw) | ° 
乘法 z[kJhCA] (1/2x) | XGW HG) dv 
面积 z[0] (12m| XG do 
帕 斯 瓦 尔 > tn] a⁄22 f" | XG) | * do 
Am 一 co z 





473 


474 附录 附录 内 容 介绍 


表 C-8 DTFT 变换 对 













时 域 x[ k] 
ó[k] 1 
1 2x >) 6(w 十 2xzz) 
ul k] 1/[1 — exp(— jw) ] + >) lwt 2am) 
atu[k] 1/[1—aexp(—je)]( | a | < D 
(k+ DatuLk] 1/[1 — aexp(— jw) ]? 
cos(wok) x >) Blw wo + 2am) + (w+ oo + 2am) ] 
sin(wok) jz >) [Bw ao + 2am) — 8(o — wo + 2um) ] 
rect[ £] sin( (N — 1/2)m)/sin(w/2) 
sinc( Wk) (1/W) rect(w/2nW)(0 < W < 1) 
sinc? (Wk) (1/W) tri(w/2nW) (0 < W < 1/2) 


(1/N) >; &w/2x—n/N) 


n= 


5 ofk— nN] 


n=% 





离散 随机 变量 的 特征 函数 为 : 


Bx (jw) = ELexp(jwX)] = >) px[zjexp(jwr) (C-45) 


2=—co 


这 是 概率 质量 函数 (pmf)px[xj] 的 DTFT, 不 同 的 是 w> 一 w。 因 此 表 C-7 的 所 有 属性 都 可 
用 于 特征 函数 。 需 要 注意 的 是 表 C-8 中 只 包括 了 两 个 pmf 的 DTFT， 对 应 于 几何 和 离散 均 
AHL BH. MF pmf 为 px[zxj] 二 pq*Is+ [xj] 的 几何 随机 变量 (其 中 Is*[zj] 是 离散 指示 函 
数 )， 表 中 的 第 四 个 变换 给 出 了 

x (jw) = p/[(1 — gexp(jw)] (C-46) 


oF E F -o RÈT o, MRA 中 总 结 了 本 书 中 所 涉及 的 离散 随机 变量 的 特征 函数 。 
< 


进一步 阅读 


本 附录 中 总 结 的 频 域 变换 可 以 在 Bracewell(1978), Lathi(1965) Lathi(2000), Mitra(2010), Oppenheim 
和 Schafer(2009) Oppenheim, Willsky 和 Nawab(1996), Stearns 和 Hush(1990), Tretter (1976) 中 进一步 
研究 。 


附录 D 


本 附录 给 出 计算 随机 变量 期 望 的 不 同类 型 积分 的 描述 ， 简 要 回顾 了 黎 曼 积分 ， 这 样 就 可 
以 描述 更 通用 的 (不 太 熟 悉 的 ) 黎 曼 - 斯 蒂 尔 切 斯 积分 。 我 们 不 会 像 大 多 数 关于 测度 理论 和 积 
分 的 教科 书 二 样 严 格 ; 反而 对 概率 空间 {有 R，B(RR)，Px}， 提 供 对 以 下 积分 意义 的 基本 理解 : 


| gdFx cz) (D-1) 


其 中 Fx(z) 是 六 的 累积 分 布 函 数 (cdf)，g(z) 是 被 积 函数 。 我 们 还 简要 描述 了 勒 贝 格 积分 ， 它 比 
黎 曼 积分 更 通用 ， 可 用 于 黎 曼 不 可 积 的 函数 。 对 抽象 概率 空间 {2， 三 ， 了 P} ， 它 通常 写 为 : 


| g (o) dP (o) (D-2) 
a 


EP o € Q 是 样本 空间 的 元 素 。 

这 些 关 于 积分 的 知识 对 理解 第 5 章 中 描述 的 各 种 矩 和 期 望 的 定义 不 是 必须 的 。 但 它 对 
于 理解 离散 和 混合 随机 变量 ， 以 及 用 于 概率 密度 函数 (pdf) 和 cdf 的 狄 拉 克 8 wm BLA BT BK pK 
数 的 特点 有 帮助 。 


D.1 黎 曼 积分 的 回顾 


黎 曼 积分 通常 在 微 积 分 课程 的 开篇 介绍 ， 用 于 第 3 章 和 第 4 章 中 随机 变量 的 积分 。 考 
虑 如 图 D-1 所 示 函 数 > 一 8(z)， 它 在 La,b] 上 是 连续 的 和 有 界 的 。 一 般 来 说 一 个 可 积 函 数 
是 不 需要 连续 的 。 可 微 函 数 形成 了 连续 函数 的 一 个 子 集 ， 连 续 函 数 形 成 了 可 积 函 数 的 一 个 
子 集 。 后 面 我 们 再 考虑 不 连续 函数 的 积分 。 

矩形 函数 可 写 为 rect(z) 二 u(x 十 1/2) 一 u(x 一 1/2)， 其 中 u(x) 是 单位 阶 跃 函 
数 。 显 然 rect(z)# z==+1/⁄2 处 是 不 可 微 且 不 连续 的 ， 但 在 [一 1/2,1/2] 上 是 可 积 的 它 
具有 单位 面积 。 三 角 函 数 tri(x) 二 (1 一 |x|)rect(x/2) 在 [一 1, 一 1] 上 是 连续 且 可 积 的 ， 但 
E z=0 处 是 不 可 微 的 。 < 

观察 到 图 D-1 中 工 轴 上 [a,b] 被 划分 成 子 区 间 Ez. sa 的 集合 ， 其 中 n= 1,°…,N, 
设 a, 为 第 n 个 子 区 间 [rrn] 中 的 一 个 点 。 分 区 的 网 格 是 具有 最 大 宽度 A, 22,41 —-2, 
的 子 区 间 ( 尽 管 通常 子 区 间 具 有 相同 的 宽度 ， 如 本 例 所 示 )。 曲 线 下 的 面积 可 由 以 下 歼 曼 求 
和 近似 : 


N N ` 
RON) = g(a) (za — z,) = >) g(a,yA, (D-3) 
n=1 n=1 
y g(x) 
ERS 
RA 
em 
TRE + 
求 和 a 
Ea 





图 D-1 函数 y=&(Cz) 在 工 轴 上 的 [a, 妇 分 成 了 子 区 间 。 浅 阴影 矩形 组 成 了 下 黎 曼 求 和 。 浅 阴影 加 上 
深 阴 影 矩 形 组 成 上 黎 曼 求 和 
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它 是 NN 个 矩形 面积 的 和 ; 第 个 矩形 宽度 为 Au， 高 度 为 g(a,)， 面 积 为 g(a,)A,。 图 中 显 
示 了 两 种 不 同 的 求 和 结果 ， 这 取决 于 用 函数 的 哪个 值 做 矩形 的 高 度 。 下 黎 曼 求 和 是 选 [Lz,， 
teil 上 g(x) 的 下 确 界 m, a, 得 到 的 : 


N 
R, (N = 5 m4. (D-4) 


于 是 得 到 了 浅 阴影 矩形 的 面积 。 下 歼 曼 求 和 的 上 界 必然 由 [a,b] 上 所 有 x 值 对 应 的 
g(x) Wi. ERS KF WAH (x, tm] 上 gC Pyar M, J an 得 到 的 : 


Ry(N) = $m. A, (D-5) 


Bs S SR R WIE JW GEE. 这 样 上 黎 曼 求 和 的 下 界 由 Lab] 上 所 
H x AEX H g(x) 确定 。 因 为 这 些 定义 中 用 到 了 下 确 界 和 上 确 界 ，x 轴 上 的 子 区 间 可 以 
是 半 开 的 ， 对 连续 函数 可 以 得 到 相同 的 结果 。 

笋 曼 积 分 R 是 通过 同时 增加 间隔 数 N 一 oc 和 减 小 它们 的 宽度 AO 导出 的 。 它 可 以 定 
义 如 下 : 对 每 个 6 二 0 存在 > 0 使 得 


max(A) < e >| Xaa JA —R|< ó (D-6) 


而 且 当 N> R R, (N)— Ru (N) , 则 pi 5b] 上 的 黎 曼 积分 存在 。 显然 随 着 矩形 宽度 
的 减少 和 答 形 数量 的 增多 ,它们 的 面积 和 将 趋 近 Lob) 上 连续 函数 g(x) 下 的 面积 。 我 们 
将 黎 曼 积分 表示 如 下 : 


K = f'ede = G(b) —G(a) (D-7) 

Kp G(z) ERR BR g(z) 的 不 定 积分 ， 则 G(z) 王 g(Cz)。 最 后 一 个 表达 式 来 自 微 积 分 基 
本 定理 。 

在 之 前 求 和 的 讨论 中 ,我 们 考虑 的 是 非 负 函数 。 如 果 函 数 有 负 的 部 分 ， 则 每 个 正和 


负 的 部 分 的 积分 要 分 开 计 算 ; 从 正 的 部 分 的 结果 中 减 去 负 的 部 分 的 结果 得 到 整个 积分 : 
RER ST Re. 


JRA +E [a,b] 上 的 线性 函数 g(z)= <, Tk 8 2 g 4 OD 
| zdz = "(2° /WD = a) V2 (D-8) 


对 黎 曼 求 和 ， 划 分 子 区 间 得 到 z4,=atnlb—a)/N WR A, 二 n(b 一 a)/N 一 (n 一 1) 
(b—a)/N=(b—a)/N, (D3) F i& a,= r (ES n 4 + É s| E g (z) =< HRA) f$ 
到 上 黎 曼 求 和 ; 


N _ 2 N 
Ru(N) = >) [a +n(—a)/N](6—a)/N = ab =a) + P= Sn 
n=] n=1 





=ab — a + P= ® (N + Ne)/2 ku (D-9) 
士 式 中 代入 了 附录 正中 的 有 限 级 数 的 闭合 形式 的 表达 式 ; 重 排 这 个 表达 式 ， 取 极限 得 到 R 
limRy(N) = lim eeu + (6 —a*)/2 = (PP — at) /2 (D-10) 


它 是 式 (D-8) 的 结果 。 为 了 完备 性 ， 我们 也 写 出 下 歼 曼 求 和 ， 其 中 用 到 了 a, 二 zx,( 第 nn 个 子 
区 间 中 g(z) 一 工 的 最 小 值 ) : 


N 
R, (N) = 2 [a + (n= D6—a)/N]&—a)/N (D-11) 


上 式 用 n 一 1 取代 了 式 (D-9) 的 n。 因此 ， 我 们 只 需 将 式 (D-10) 最 后 的 表达 式 中 减 去 一 项 即 
可 ， 如 下 所 示 : 


MRD 积分 法 和 积分 477 


R.(N) = + — a) /2 — (D-12) 
它 在 Noo fy th Ft #| (° —a*)/2, 4 
D.2 黎 曼 - 斯 蒂 尔 切 斯 积分 


黎 曼 - 斯 蒂 尔 切 斯 积分 是 黎 曼 积分 的 通用 化 ， 对 式 (D-3) 中 的 黎 曼 求 和 的 子 区 间 {A, 王 
Æ + r Y UTF. 


RS(N) = Yate, RCD — h(a) ] (D-13) 


He h(x) E — 4 + 2 BAM, 通过 这 种 方法 ， 不 同 的 加 权 值 可 以 分 配给 在 工 轴 上 分 区 的 子 
区 间 。 这 种 积分 是 针对 实 函 数 h(z) 进 行 的 ; 原始 函数 g(xz) 仍 被 称 为 被 积 函 数 ，h(zx) 被 看 
做 积分 器 。 黎 曼 -斯 带 尔 切 斯 积分 RS 用 类 似 于 黎 曼 积分 R 的 方式 定义 如 下 : 对 每 个 6 二 0， 
存在 > 0 使 得 


(b-a)? (p= 2 
RNY N 


max(At) < e => | Yate, JA — RS|< ë (D-14) 
其 中 心 全 1Czri) 一 An(zs)。 以 下 符号 用 于 Tu 上 的 黎 曼 - 斯 蒂 尔 切 斯 积分 : 
RS = | g (z)dh(z) (D-15) 


如 果 函 数 有 负 的 部 分 ， 则 分 别 计算 每 个 正 的 和 负 的 部 分 的 积分 ， 得 到 总 积分 结果 : 
RS=RS, —RS_, 
积分 器 h(xz) 不 需要 是 可 微 的 或 连续 的 ; 事实 上 ， 黎 曼 - 斯 带 尔 切 斯 积分 在 计算 cdf 不 
连续 的 离散 和 混合 随机 变量 的 期 望 值 时 非常 有 用 。 如 果 六 是 一 个 cdf 为 Fx (z) (根据 定义 
它 是 不 减 的 ) 的 随机 变量 ， 则 设 h(x) 二 Fx(x) 得 到 期 望 值 (第 5 Bhi): 
Elex] = | g CoaF, Go (D-16) 


则 我 们 发 现在 引言 中 提 到 的 式 (D-1) 是 由 cdfFx(z) 加 权 的 g(z) 的 黎 曼 -斯 蒂 尔 切 斯 积分 。 
UBOD 考虑 参数 为 p 的 伯 努 利 随机 变量 匀 具有 如 下 的 cdf: 





Fx(z) = >” q'"u (z — n) (D-17) 
其 中 (xz) 是 单位 阶 跃 函数 ，g 会 1 一 pp。 假设 我 们 希望 计算 以 下 的 黎 曼 _ 斯 带 尔 切 斯 积分 ， 
ECX] = | zdFx(2) (D-18) 


Ce XAMSR HEA). AD2AHT RRBRA g(z)=<x, PAEA A(z) =F x(a), 
参数 p=1/2 时 的 曲线 图 。 伯 努 利 edf 在 x 二 {0,1) 处 有 两 个 左 不 连续 点 ， 但 定义 为 右 连续 
(由 实心 圆 标注 了 )。x 35 q 2 K Haz, =0, z, =2/5, z,=4/5 以 及 z,=6/5 实现 。 对 这 种 
N=3 的 分 区 ， 下 黎 曼 求 和 为 : 

Ri (3y'z=(0)(z;y— zy) + (2/5) (ary — zy) 


+ (4/5) Cay — zs) = 12/25 (D-19) 
它 是 L0，6/5] 上 的 矩形 面积 ， 与 5(Cz) 一 元 的 积分 近似 。 通 过 增 大 N 值 ， 用 一 种 更 好 的 分 
区 ， 黎 曼 求 和 趋 近 于 那个 间隔 中 的 真实 面积 (6/5) /2 一 18/25。 < 


对 下 黎 曼 -斯 蒂 尔 切 斯 求 和 ， 和 矩形 的 加 权 值 用 Fx(Czr) 一 Fx(Cz) 取 代 了 ze+i 一 
RS, (3) =(0O) Fx (22) — Fx(zi)] + (2/5) Fx (a3) — Fx (22) ] 
+ (4/5) LF x (24) — Fx (23) ] 
=(0)(1/2 — 1/2) + (2/5) (1 — 1) + (4/5) 1 — 1/2) = 2/5 (D-20) 
其 中 只 有 子 区 间 [zs ,zj] 对 求 和 做 了 贡献 。 显 然 用 更 好 的 分 区 ， 只 包括 z=1 的 子 区 间 对 
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加 权 求 和 有 贡献 ， 且 在 求 极限 时 得 到 值 1X (1 一 1/2)=1/2， 它 是 伯 努 利 随 机 变量 的 均值 : 
g[X']=p= 1⁄2, 





X1=0 XQ Hy $ Xe 


D2 f D-3 中 被 积 函 数 为 g(z) 一 工 ， 积分 器 为 AGz) 一 Fx(Cz) 的 黎 曼 -斯 蒂 尔 切 斯 积分 


由 例 D-3， 我 们 知道 如 何 计算 任意 离散 随机 变量 的 黎 曼 -斯 蒂 尔 切 斯 积分 。 考 
虑 二 项 式 随机 变量 : 


N 


Fx(z) = J. (~ )pravucz— n) (D-21) 


n=0 


rA 2 XK Bi £ N 的 增长 变 得 更 好 后 ， 黎 曼 - 斯 蒂 尔 切 斯 求 和 只 " 抓 位 了 ”阶梯 函数 
Fx(X) 不 连续 处 的 g(x) AB ee, 特别 是 当 Txt1 Fx(rr1)— Fx (2,) 40; 则 对 二 
项 式 cdf; 


N N s 
ELECO] 一 | eod = >) (7 ota "| educa 


=0 


DHA \p" g ag Gi), = > prtnJatn] (D-22) 


其 中 px[n]2 X 的 概率 质量 函数 (pmf)。 < 

在 例 D-3 和 例 D-4 中 ， 计 算 积 分 (期 望 ) 时 没有 用 到 狄 拉克 6 函数 来 表示 离散 随机 变量 

的 pdf。 以 前 提 到 过 ， 在 有 关 概 率 的 基本 课程 中 经 常用 到 狄 拉克 ó 函数 ， 因 为 它 简 化 了 用 
黎 曼 积分 计算 期 望 。 例 如 ， 对 二 项 式 随 机 变量 我 们 可 以 写 为 : 

dFx(z) = SR (~ra n)dx (D-23) 


因此 
co N N) oo 
ele(X)] =| goda = )(" pra "[" goaa nde 
去 n=0 M 


=>" )p"q 9) = Xp [leon (D-24) 


其 中 用 到 了 狄 拉 克 ó 函数 的 筛选 特性 。 但 是 ， 正如 之 前 的 例子 所 示 ， 黎 曼 -斯 蒂 尔 切 斯 积 
分 直接 处 理 了 cdf 的 不 连续 。 
如 果 h(x) FE [a,b] 上 对 通用 微分 h(z) 是 处 处 可 微 的 ， 则 


h'Cz) =D dh(z) Sh (D-25) 


RS =|. g(ax)yh'(x)dx (D-26) 
如 果 AC 2) =F x(x) cdf, M) fe (z)=F.(z), A 
b 
RS = | g(x) fx(wde (D-27) 
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这 是 已 知 更 通用 的 求 期 望 的 形式 。 如 果 Fy Cz) 由 连续 的 Fx,.(x) 和 离散 的 Fx.s(x) 分 量 混合 
组 成 : 

Fx(z) = Fx (z) + Fx.alz) (D-28) 
则 期 望 的 计算 如 下 : 


Ela] = | zGO4F G) = | g(x) fx. Ga)dz + >] enpraln] CD-29) 


n=— 


其 中 Fx. (zx) 是 随机 变量 连续 部 分 的 pdf，px.sLn] 是 离散 部 分 的 pm. 
考虑 一 个 混合 随机 变量 : 
Frier) =Q 《2 + (1/2) Y pqtu (ae =n) (D-30) 
它 实 际 上 是 一 个 指数 和 几何 cdf 的 有 限 混合 ( 见 第 4 章 )。 这 个 随机 变量 的 均值 为 : 
ELX] =| zdFx(z) = a/2) | 2expt—2e)dz + (1/2) >) mp" 
=(1/2)[1/a-+ (q/p)] (D-31) 
它 是 指数 和 几何 随机 变量 的 均值 的 平均 。 < 
Xt PA FE KAO AS AAS He a RA A ELE A A. HER < 轴 可 被 分 成 一 组 
非 重 到 的 子 区 间 。 回 顾 之 前 学 过 闭 集 Lab] 的 长 度 由 区 间 的 勒 贝 格 测度 给 定 : Lab) = 
b 一 a。 MAIER BM, LUNA Fee, EMME: 
l, x € 9 
gar he Oe t, (D-32) 
其 中 8 是 有 理 数 集合 。 在 计算 这 个 积分 时 将 域 分 割 成 子 区 间 是 没有 用 的 。 处 理 这 类 情况 时 ， 
我 们 可 将 工 轴 上 的 子 区 间 长 度 扩展 为 一 个 集合 的 测度 (代替 子 区 间 的 勒 贝 格 测度 )。 这 引出 
了 勒 贝 格 积分 。 


D.3 勒 贝 格 积分 


对 函数 y= 王 g(Cz)， 特 定 的 工 值 唯一 的 映射 到 y 的 一 个 值 ， 这 是 函数 定义 时 的 性 质 。 如 
果 函 数 不 是 一 一 对 应 的 ， 那 么 多 个 工 可 以 映射 到 相同 的 y， 这 样 逆 象 g '(y) 是 一 对 多 的 。 
最 初 描述 勒 贝 格 积分 时 ， 这 种 区 别 是 必要 的 , 它 可 以 通过 对 y 轴 分 区 来 取代 对 z 轴 分 区 
(如 黎 曼 积分 中 所 做 ) 得 到 勒 贝 格 积分 。 对 y 轴 分 区 允许 计算 黎 曼 不 可 积 函 数 的 积分 ， 其 中 
x 轴 不 能 用 一 个 有 用 方式 分 区 。 

考虑 图 D-3a 中 显示 的 y= g (z), HP y 轴 上 的 间隔 Lg(a),g(b)] 被 划分 成 子 区 间 
{[y,yYrn1)}， 这 产生 了 水 平 的 和 矩形， 它们 的 末端 由 函数 约束 。 我 们 要 计算 对 每 个 y,， 所 有 
由 高 度 为 y, 的 x 轴 上 的 子 区 间 所 形成 的 垂直 和 矩形 的 面积 。 对 于 图 D-3b 中 的 例子 ， 我 们 看 





bx 


图 D-3 勒 贝 格 求 和 。a) [a,b] 上 的 函数 y= g(x) HY y ABST RM TF RL (Lyn. yn) PPE TK 
平 矩 形 ; b) 由 水 平 矩 形 端点 定义 的 垂直 矩形。 那些 具有 相同 阴影 的 矩形 显示 的 是 x 轴 
上 具有 相同 矩形 高 度 的 子 区 间 ; c) 对 应 于 增 大 的 y BRE AY HE ER 
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到 有 一 个 高 度 为 gCa)( 用 斜 线 表示 的 ) 的 垂直 矩形 。 有 三 个 垂直 的 矩形 (用 最 深 色 的 阴影 表 
示 )， 它 们 的 高 度 由 分 区 中 接 下 来 的 > 值 给 定 ， 然 后 还 有 两 个 矩形 ， 高 度 为 再 接 下 来 的 y 
值 。 因 为 y Bo 的 道 映射 不 是 一 一 对 应 的 ， 所 以 产生 了 多 个 矩形 。y 轴 分 区 中 其 他 值 对 应 
单一 的 垂直 矩形 (最 浅 色 阴 影 表 示 的 )。 如 果 对 y 轴 做 更 好 的 分 区 ， 则 在 函数 中 间 “ 丢 失 ” 的 
垂直 矩形 会 被 包括 进来 。 

黎 曼 积分 就 是 这 样 做 的 ， 通 过 将 矩形 面积 求 和 得 到 勒 贝 格 积分 的 近似 值 。 勒 贝 格 总 
和 为 : 


LB(N) = >. Lija € [a,b]:y, < g(x) < yon }) (D-33) 


其 路 (。) 是 勒 贝 格 测度 ， 则 上 (1z C [4s 人]:y, < g(z) < ye D 给 出 了 所 有 具有 相同 高 
度 的 矩形 的 总 体 宽度 。 随 着 Noo, y 轴 的 分 区 越 来 越 细 化 ，LBCN) 趋 近 于 [a,b] 上 的 
函数 曲线 下 的 面积 。 显然， 如 果 g(z) 是 连续 和 有 界 的 ， 则 黎 曼 积分 和 勒 贝 格 积分 是 相 
同 的 : 这 是 显而易见 的 ， 因 为 我 们 刚刚 重 排 了 进行 求 和 近似 时 的 矩形 的 构造 。 黎 曼 求 和 
是 相对 于 z 轴 的 分 区 为 不 重 从 的 子 区 间 定 义 的 ， 而 勒 贝 格 对 矩形 求 和 则 是 对 y 轴 的 分 区 
定义 的 。 

勒 贝 格 积分 处 理 不 连续 函数 时 不 可 能 有 效 地 将 z 轴 分 割 成 子 区 间 。 除 了 勒 贝 格 测度 之 
外 的 其 他 测度 ， 也 可 用 来 构造 勒 贝 格 求 和 。 但 是 求 和 中 各 项 的 顺序 对 积分 的 最 后 值 是 无 影 
响 的 ， 因 此 考虑 重 排 y 增长 的 矩形 ， 如 图 D-3e 所 示 。 当 然 ， 和 矩形 不 再 遵循 函数 &(z)( 在 这 
个 图 中 没有 显示 )， 但 累计 面积 与 图 D-3b 中 的 一 样 。 

现在 考虑 一 个 不 连续 函数 g(x)， 比 如 前 面 y 
提 到 的 狄 利克 函数 。 很 明显 ， 如 果 将 x 轴 分 成 子 1 
区 间 ， 我 们 不 能 构建 出 有 意义 的 矩形 来 计算 g Ae 
(z) 的 黎 曼 积分 。 然 而 计算 这 个 函数 的 勒 贝 格 求 指示 函数 


和 却 很 容易 ， 因 为 y 轴 是 分 区 的 ，g(z) 只 有 两 个 ç x 

(i: {f0,1}。 重 排 x 轴 上 数字 的 顺序 ， 对 无 理 数 先 i 

分 组 ， 然 后 是 有 理 数 ， 如 图 D-3c 所 示 。 对 于 狄 利 

克 函 数 ， 在 有 限 区 间 z € lab) 上 ，y 轴 的 分 区 只 ”图 D4 人 Pipa 
Ce coy í 无 理 数 以 升 组 ， 所 

Hee! aim DO 理 数 也 以 升序 分 组 的 形象 例子 


N 
LB(N) = >) yk Cx € [a,b]: y, < g(x) < Ym?) 
n=1 


=(0)L((z € (a,b]:0 < g(x) < 1)) 
+ (1)L((z € [a,b]:1 < glr) < eo)) = L(Q) (D-34) 
HF L(Q)=0( BASH U) F iW EE ñj nj RE), KAT HAS. ie 
数 的 黎 曼 积分 不 存在 。 通 过 对 有 理 和 无 理 数 分 组 以 及 对 y 轴 分 区 ， 再 将 尺寸 的 概念 由 子 区 
间 的 长 扩展 为 集合 的 勒 贝 格 测度 ， 我们 计算 出 了 积分 。 而 且 ,- 还 可 以 用 其 他 测度 ， 接 下 来 
证 明 对 测度 ¿ 是 成 立 的 。 
定义 (简单 函数 ) ”简单 函数 是 指 事件 {E,} 的 指示 函数 的 加 权 线 性 组 合 ， 其 权 值 为 y 轴 上 的 值 : 


g(x) = yla (x) (D-35) 
n=1 


KAA T MARE, IJR RAH , 
狄 拉克 函数 是 一 个 简单 函数 。 只 存在 两 个 集合 : (i) 有理数 E =O; 和 (ii) 
无 理 数 EF。 二 及 一 8。 因 此 对 某 个 区 间 [a,b] ER: 
g(x) = xÍ, (z) + y, L, , (z) = (1)L (xz) + (0)I, ox) = RN (D-36) 
对 所 有 ZE[a，b] 都 成 立 。 I < 
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需要 注意 ， 式 (D-35) 中 的 求 和 由 特定 的 {y,) 值 定义 ， 它 可 以 看 作 是 y 轴 的 分 区 。 没 有 
将 z 轴 分 成 子 区 间 是 因为 我 们 只 关注 集合 {E,} 和 集合 中 相应 的 z 取 值 ， A J z TR 
间 。 对 于 狄 拉克 函数 ， 这 是 非常 明显 的 ， 其 中 [a,5] 上 的 zxE8 是 可 数 的 且 在 此 间隔 上 非 均 
匀 分 布 。 类 似 于 式 (D-33) ， 式 (D-35) 中 ECR F A 


LB(N) = ykE,) (D-37) 


勒 贝 格 和 相 比 歼 曼 和 更 通用 : (I ) 集 合 {E ,} 被 子 区 间 代替 ; ([) 子 区 间 的 长 度 被 集合 的 测 
Ep Re. 
式 (D-37) 的 勒 贝 格 和 可 以 扩展 到 任何 如 下 非 负 测度 函数 g(z)。 考 虑 将 y 轴 分 成 等 长 
子 区 间 得 到 g(x) 的 阶梯 近似 : 
eee m/2", m/2" < g(x) < (m+1)2",0<m<2"—1 ts 
o's g (z): > 2" 
其 中 mw，nEZ。 这 种 近似 方法 与 信号 处 理 中 的 量化 类 似 ， 即 用 来 将 连续 波形 转化 为 数字 信 
号 (在 第 10 章 通信 中 进行 了 简要 讨论 ) 的 技术 。 对 于 n= 二 1，y 轴 上 的 子 区 间 为 [0,1/2) 、 
[1/2,1) 、[1,3/2) . [3/2,2) , [2,co) 和 相应 的 g(xz) 的 阶梯 近似 如 图 D-5 所 示 。 由 于 对 y 
MUSK. FFA g(z) 是 工 的 连续 函数 ， 所 以 工 轴 也 被 分 成 子 区 间 。 对 于 图 中 的 例子 ， 
简单 函数 g(r) 对 应 的 不 同 y 值 的 个 数 是 5。 





图 D-5 简单 函数 g, (OM g(xz) 的 阶梯 近似 


将 增加 1， 区间 的 范围 随 之 增 大 两 倍 ， 同 时 > 轴 上 每 个 子 区 间 的 宽度 缩短 两 倍 。 由 
此 ， 通 过 取 极 限 可 以 得 到 
lim sup|g,(z) — g(z)| = 0 (D-39) 


其 中 上 确 界 在 所 有 不 超过 g(z) 的 简单 函数 g. Cy; ECA D-5 Pa=1 时 的 例子 证 明 是 这 二 
点 )。 第 个 简单 函数 的 勒 贝 格 和 为 : 


LB(N,) = 5 jt = D>. ft (Emn) (D-40) 
其 中 N, 22” 是 求 和 中 项 的 个 数 ， Vminm /2" JEE y 轴 上 的 一 个 值 ， 已 ,, 是 函数 值 为 min BY 
z 的 集合 。g(z) 的 勒 贝 格 积分 LB 可 以 通过 将 步 数 趋向 于 无 穷 大 ， 同时 y 轴 上 的 子 区 间 宽 
度 趋 向 于 零 时 取 极 限 得 到 。 其 形式 如 下 : 
LB = | ¢@rdpt) (D-41) 


如 果 g(x) 在 [a， 中 上 任意 处 为 负 ， 则 可 以 将 其 分 成 正 的 和 负 的 两 部 分 (如 同 在 黎 曼 积 
分 中 所 做 的 那样 )， 从 正 数 部 分 的 勒 贝 格 积分 减 去 负数 部 分 的 积分 : LB=LB, 一 LB- 。 最 
后 ， 对 于 抽象 概率 空间 (O.F,P), 函数 g(w) 的 期 望 值 为 以 下 勒 贝 格 积分 : 
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ipa | g(w)dP(w) (D-42) 
a 


其 中 是 Q 中 的 元 素 。 由 此 式 (D-2) 是 elo) He AS. AE RE PAE. 对 
应 于 一 个 抽象 样本 空间 的 期 望 值 。 
考虑 抛 两 枚 公平 硬币 的 试验 ， 其 样本 空间 为 2 = (HH ,TT,HT,TH)., 4o- 
域 下 的 原子 为 {{HH,TT}, TH, HT}, 由 此 
F = (¢,0,{HH.TT}).TH,.HT,({TH,HT}.{HH,.1TT,.TH},{HH,ITT;HT} 
(D-43) 
由 于 概率 测度 P 是 为 天 中 的 事件 定义 的 ， 而 不 是 只 的 试验 结果 ， 除 非 原 子 与 试验 结果 
相同 。 所 有 原子 的 概率 相 加 必 为 1， 因为 ( 工 ) 它 们 不 相交 ; ( 开 ) 它 们 的 并 集 一 定 为 只 。 由 
此 ， 对 于 公平 硬币 有 : 
P({HH,TT}) =1/2,P(TH) = P(HT) = 1⁄4 
P({HH,TT,TH}) =P({HH,TT,HT}) = 3/4 
P(Q) =P((HH ,TT,TH,HT))= 1,P(¢) = 0 (D-44) 
MRR EH eM, RHASR( HH) M(TTI/CASFHEEASRHR, Ej jk k A 3 jh 
分 配 概率 ; 式 (D-44) 给 出 了 下 中 所 有 8 个 事件 的 概率 ， 这 8 AE E J 3 SE P (Q) ij — 4 + 
集 。( 继 续 使 用 寡 集 的 概念 ， 显 然 已 (五 互 ) 王 PCTT) 王 1/4。) 假 设 我 们 只 关注 以 下 函数 的 
积分 : 
1, w= HH 
glow) = 0, w=TT.HT.TH (D-45) 
即 离散 指示 函数 ; g(o) 王 TianiLoj。 由 于 函数 是 针对 只 的 试验 结果 (而 不 是 大 中 的 事件 ) 定 
XH, HU g(w) 不 是 随机 变量 。 即 使 其 将 试验 结果 映射 到 及 也 是 如 此 ， 因 为 它 是 不 可 测 
WwW: 其 逆 像 为 g 'O)=HHEFR g "(0) = 1TT,HT,TH} 下 ;由 于 勒 贝 格 积分 假设 函 
数 是 可 测 的 ， 所 以 考虑 以 下 函数 ， 它 是 一 个 随机 变量 : 
X (o) = hamla] (D-46) 
注意 到 X-() = (HH ,TT) € FCG ZFHRF)R X: (0) =(HT,TH) € Z G E 
大 的 两 个 原子 的 并 )。 此 时 勒 贝 格 积分 为 : 


| X(o)dP(o) =(1)P((e € Q:X(w) = 1)) + (0O)P((e € Q:X(w) = 0}) 
a 


=(1)P({HH ,TT}) + (0) P({HT,TH}) 
=(1)P({HH ,TT}) + (0)[P(HT) + P(TH) ] 
=(1)(1/2) + (0)(1/4 + 1/4) = 1/2 (D-47) 
我 们 发 现 Xo) ZA D3 中 的 伯 努 利 随机 变量 ， 其 期 望 值 利 用 黎 曼 -斯 蒂 尔 切 斯 积分 计 
算得 到 。 上 面 的 结果 即 O 在 抽象 概率 空间 (NFP) 中 相应 的 勒 贝 格 积分 ， 显然 与 例 D-3 
的 结果 相同 。 P < 


D.4 PDF 的 积分 


第 3 章 以 及 附录 A 中 介绍 的 各 种 pdf 函数 对 于 许多 应 用 的 随机 试验 结果 建 模 非常 有 
用 。 其 中 大 多 数 pdf 包含 一 个 指数 函数 项 ， 如 表 D-1 所 示 ， 表 中 我 们 将 这 些 指数 项 分 为 三 
个 组 (除了 连续 均匀 和 三 角 pdf) 。 第 一 组 中 的 pdf 包含 x* (或 者 更 高 次 ， 例 如 韦伯 分 布 的 情 
况 ) 的 指数 函数 。 第 二 组 中 也 包含 指数 函数 ,但 是 是 xz 的 指数 函数 ， 而 且 对 数 分 布 和 极 值 
分 布 的 pdf 有 两 个 指数 函数 项 。 第 三 组 pdf 不 包含 任何 指数 函数 项 ,以 不同 的 指数 依赖 
T xe 
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表 D-1 连续 随机 变量 的 pdf 函数 形式 










zN-Ílexp( —z2 /2) PCN/2)28/2—1 






















exp(— (r—)? 207) Six 
IES exp(— 2? /2a*) a Vn/2 
反 高 斯 (1/25 Yexp(—a(a—p)?/2 p? z) J2x/la 
对 数 - 正 态 ziexp( 一 (ln(z) 一 /02/2c2) Jona 
麦克 斯 韦 - 玻 耳 兹 曼 z2exp( —z2 /2a2) AATE) 
瑞 利 zexp( —z2 /2e*) a° 
HEM zexp( — (2? +c?) /2a7) Ip (cx/a*) a 
韦伯 ziex5( 一 (zja)-) a’/r 
卡 方 | eb) TC(N/2)2N/? 
指数 exp(—Ax) 1⁄2 
极 值 exp( 一 (Z 一 c)/a)。exp( 一 exp( 一 (z 一 c)/a)) a 
伽 马 z" 'exp(—Ax) PCr)AA 
拉 普 拉 斯 exp(— | mp | /a) 2a 
Logistic exp(— | Ep | /a) * [1 +exp(—(2—p)))~? a 
贝塔 ze-1(1— r) BCa,B) 
柯 西 [二 2] n/a 
F 4} 4 Tm 101 +-(m/n) x ort? B(m/2, n/2) (n/m)™/? 
tAE HE gr 1/ra’ 








FER t UAS Eae /PA 





JrB(1/2, r/2) 


表 中 还 包含 每 个 函数 曲线 下 的 面积 及 其 定义 域 。 最 后 一 列 每 一 项 的 倒数 是 应 用 到 泛 函 
形式 的 权重 ， 这样 每 个 pdf 都 具有 单位 面积 。 泛 阻 形式 确定 了 pdf， 权 重 只 是 对 应 pdf 参 
数 特 定 值 的 一 个 常量 。 例 如 ， 考 虑 伽 马 随机 变量 的 pdf 


yy Gy = z ‘exp(—Ar)u(z) (D-48) 


AT 
T(r) 
其 中 

T(r) Af” um exp v) dv (D-49) 


是 伽 马 函数 (参阅 附录 B), ¿E X T(r) 的 有 限 积分 的 被 积 项 类 似 于 pdf 的 泛 函 形式 。 由 此 ， 
T(r) 与 Q- 函 数 的 角色 类 似 : 它 是 无 闭 集 形 式 的 积分 的 一 个 代表 。 同 样 对 于 贝塔 函数 


1 
Bla p) &| vA — v)” do (D-50) 


其 被 积 函 数 为 表 中 给 出 的 贝塔 随机 变量 的 泛 函 形式 。B(c， 有 只 是 上 述 有 限 积 分 记号 ， 相 
Xt a 和 8 不 存在 闭 集 形式 的 解 。 
基于 这 种 泛 函 的 视角 ， 可 以 利用 pdf 面积 为 1 来 计算 被 积 函 数 类 似 于 特定 pdf HER 
形式 的 有 限 区 间 积 分 。 这 可 以 通过 重 排 被 积 函 数 (改变 变量 或 者 配方 ) 使 之 类 似 于 已 知 pdf 
的 泛 函 形式 。( 附 录 E 中 将 类 似 的 方法 用 于 pmf 求 和 。) 
考虑 以 下 积分 : 
| exp x?’ jdr = QVD| exp y /2)ay (D-51) 


其 积分 与 高 斯 pdf 的 泛 函 形式 类 似 。 由 此 ， 当 py 二 0 且 go 二 1， 可 以 得 到 


| pc zar = Ve (D-52) 
类 似 的 方法 可 以 用 来 求 得 以 下 定 积分 : 
| ex (x— py)’ /a )dz =a Jx (D-53) 
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上 exp(— ar’ + bz + c)dz = /=x/aexp(c + b° /4a) (D-54) 
其 中 我 们 对 指数 进行 配方 得 到 最 后 的 表达 式 。 < 
假设 我 们 感 兴 趣 的 是 指数 随机 变量 的 矩 ; 
gh] | exp ar dda (D-55) 
由 表 中 伽 马 随 机 变量 的 泛 函 形式 ， 取 r—1=n, A 
ELX"} = Arn + D/A) = Pian + 1)⁄2" (D-56) 
这 正 是 附录 A 中 的 表达 式 。 : < 


利用 这 种 方法 推导 定 积分 的 时 候 必 须 着 慎 ， 积 分 的 极限 必须 与 表 中 的 定义 域 一 致 。 例 
如 ， 表 中 定义 域 尺 * 的 麦克 斯 韦 - 玻 耳 效 曼 的 结果 不 能 直接 用 于 求 定义 域 为 尺 的 高 斯 随机 变 
量 的 二 阶 矩 。 


D.5 不 定 积分 与 定 积分 
对 某 些 分 布 非常 有 用 的 积分 公式 列举 如 下 : 





@ 柯 西 分 布 : 
| 二 区 二 = abyaretan(hz /a) (D-57) 
| 2 =a/2)m6 十 也) (D-58) 
| ba (D-59) 
° F+. HK. bh, HHRMA: 
[exp(ar)dx = Q /a)exp(az) (D-60) 
| rexp(ar dex =(1/a)(2—1/a)exp(ax) (D-61) 
|2°exp(ar)de Mina ree Toa -k-0/atbesp(azb (D-62) 
[2mexp(ar de =(1/a)x”"exp(ar) — (m/a) far exp(ax)dx (D-63) 
| z"exp( 一 az)dz 一 下 如 南下， Ct a> Om 之 一) (D-64) 
e Chi、 高 斯 、 半 正 态 、 麦 克 斯 书 - 玻 耳 兹 曼 、 瑞 利 分 布 : 
| 2% exp ar’)dz = aya (D-65) 
| eexp( 一 az9dz = 2, ttt a > 0) (D-66) 
e 由 雷 托 分 布 : 
g ae MALD (D-67) 
e 学 生 氏 上 分 布 : 
er | en 
le" meee en 
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| xz"exp(— azr")dz = 


D6 积分 公式 
为 简单 起 见 ， 我 们 给 出 菜 布 尼 兹 积分 规则 的 表达 式 : 


Dmt Dm) (ee > ae s. o) (D-70) 
na 


oO btv) blu) 3 ə rs) 
= Bu du = ike Bye (u | u) du + g(b(v),v) 53! — g(a(v),v) et D 
(D-71) 
用 分 部 积分 法 : DS 
| eD = gadha) — gadha) — S hadga) (D-72) 


该 式 采 用 黎 曼 -斯 蒂 尔 切 斯 积分 形式 。 如 果 函 数 在 [mm sr] 上 处 处 可 微 ， 则 dalr) =h (xz) dz 
K dg(z=)=g'(z)dz, AILSA 


| eh dz = gi hee phe, Air) 一 | hag ade (D73) 
对 于 不 定 积分 ， 消 除 变 量 zx， 式 (D-72) 可 以 记 作 : 
an * gh — [hdg (D74) 
这 是 微 积 分 课程 中 非常 熟悉 的 形式 。 
D. 7 特殊 函数 的 双重 积分 


最 后 ， 我 们 总 结 一 些 特定 形式 的 二 变量 函数 的 双重 积分 ， 包括 : 6(Cz 一 y) ula—y), 
min(z,y) , max(z,y) 和 |z 一 y| 。 其 中 一 些 对 第 7 章 中 的 均 方 微 积分 非常 有 用 ， 常 用 于 对 
非 平 稳 随机 过 程 XO) AHRR Rxx (4 ,ts) 求 积 分 。 所 有 的 结果 依赖 于 哪个 上 限 较 大 。 

o 狄 拉克 函数 6(y 一 +)。 此 函数 在 cy 平面 上 对 于 所 有 二 > 非 零 。 当 我 们 对 y k 

积分 时 ， 在 直线 x 二 y 上 得 到 一 个 单位 阶 跃 函数 ， 图 D-6a 给 出 了 三 维 阶 跃 的 形状 : 
| so 一 ay = u(y— z) (D-75) 
BERDA: 
[acy —2)de = [a = min(x, y) (D-76) 


如 图 D-6b 所 示 。 
© 单位 阶 跃 函 数 u(y 一 +)。 对 z 轴 求 积分 得 到 式 (D-76)。 再 对 y 轴 积 分 得 到 : 
| minte, ydy = [vay + >d = (yx — 2*/2)uly— 2), (D-77) 


式 中 可 以 理解 为 > 过 z， 因 为 我 们 从 式 (D-75) 的 zx(y 一 z) 开 始 计算 。 这 种 二 次 形式 如 
图 D-6c 所 示 。 其 表面 并 不 关于 y 二 x 对称， 因为 单位 阶 跃 函数 同样 不 是 对 称 的 。 当 
z Aly 趋 近 于 1 时， 其 最 大 值 为 1/2。u(y 一 z+) 的 双重 积分 要 求 交 换 式 (D-77) 中 的 = 


All y. 
em) BHR min(z,y) 。 对 满足 y 宇 z W y 求 积 分 得 出 式 (D-77)。 对 z 积分 得 到 
| oz — z /2y4z = (yz! /g — 23/6) uty 2 (D-78) 
由 此 ， 一 般 地 


| | mince,yydydz = max(z,y) min’ (zyy)/2 一 minm(Czyy)/6 (D-79) 
0J0 


其 图 形 为 D-7a。 对 于 x 二 y= 二 1， 式 (D-79) 在 图 形 中 为 1/3。 
© 最 大 值 函 数 max(Cz，y)。 最 大 值 函数 的 图 形 如 图 D-7b 所 示 。 对 yor 的 y 求 积分 得 到 : 
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图 D6 6(Cy 一 xz) 和 u(y 一 xz) 的 积分 。 a) [8Cy— x)dzsb) [ecy 一 zdydz, 这 也 是 | u(y 一 z)dz; 对 
J0 JoJo Jo 


E TENA giya) b | wy 一 z)dzdy; (注意 从 b 到。 数值 范围 的 变化 ) 


| maxz, y)dy = [zay + [say = (y° /2 + x /2)u(y — z) (D-80) 


0 


再 对 工 求 积 分 得 到 : 
[o 2 上 + 过 /2)dz = (zy? /2 + z=`/6)u(y— z) (D-81) 
由 此 ， 一 般 地 : 


| | maxz, ydydz = min(z.y) max (zyy)72 十 minm  (z=,y)/6  (D-82) 


此 结果 如 图 D-7c 所 示 ， 从 中 可 以 看 出 其 增长 速度 远 远 超 过 式 (D-79) 中 min(z, y) 
的 积分 。 对 于 z= 二 y= 二 1， 式 (D-82) 的 值 在 图 中 为 2/3。 
o 绝对 值 函 数 |y 一 工 | 。 绝 对 值 函 数 的 图 形 如 图 D-8a 所 示 。 对 yor 求 积 分 得 到 : 


1: ly—aidy = le —y)dy+ Ke — z)dy = (2 Fy /2 — zy) uly sz) 


(D-83) 
再 对 工 求 积分 得 到 : 


K + y? /2 — zy) dx = (#3 + zy? /2— 2? y/2)uly— x) (D-84) 
由 此 ， 一 般 地 : 
Ki |y — z |dydz =min* (x, y)/3 + min(z,y)max’ (x, y)/2 


— min’ (zy)max(z,y)/2 (D-85) 


附录 D 积分 法 和 积分 


其 图 形 如 D-8b 所 示 。 对 于 z= 二 y= 二 1， 图 中 式 (D-85) 的 值 为 1/3. 





图 D-7 min(zx,y) 和 max(x,y) 的 积分 。a) y 


y)dydzx。( 注 意 从 b 到 c 数值 范围 的 变化 》 


minea y) dydzsb) max(x, y) ;c) | | maxcz, 


ojo 





图 D-8 | y—2| 的 积分 。a) | y~r 





sb] | | > 一 | dydz; (注意 从 (a) 到 (b) 数 值 范围 的 变化 ) 


进一步 阅读 


以 下 参考 资料 给 出 不 同类 型 积分 的 详细 信息 : Athreya 和 Lahiri (2006), Billingsley (1986), 
Richardson(2009), Ross(1980), Sokolnikoff 和 Redheffer(1966), LAR Thomas, Jr. (1968). 
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附录 上 上 
恒等式 和 无 穷 序列 


该 附录 包含 了 前 面 章节 用 到 的 一 些 恒等式 以 及 对 于 离散 随机 变量 比较 有 用 的 级 数 。 大 
多 数 只 有 结论 没有 证 明 。 


E.1 零 和 无 穷 
© 加 减 : 
0+0=0, 0—0=0, 0 十 ce = eo, eco 十 ce = co (E-1) 
0 一 co =—cəo, co—0= co, co 一 co 二 未 定义 (E-2) 
计算 柯 西 分 布 的 均值 时 会 出 现 式 (E-2) 中 最 后 一 个 等 式 的 结果 ， 这 解释 了 为 什么 其 
均值 不 存在 。 
@ 来 除 : 
oo ° co =o, 0°0=0, e635 二 未 定义 (E-3) 
0/0 = 未 定义 ， co/oo= REM, 0/æ=0, co/0 = co (E-4) 
@ 指数 ; 
0 一 未 定义 ， 0” =0, œ = REX, co”= co (E-5) 
E 2 最 小 和 最 大 
当 要 对 包含 最 小 或 最 大 的 函数 进行 积分 或 微分 时 ， 下 列 恒等式 很 有 用 : 
min(Cziyzz) 一 (1/2)(z +z; — |zi —x; |) (E-6) 
max(zlyzz) = (1/2)(=z=, + z: + |z: — x; |) (E-7) 
E 3 三 角 恒 等 式 
@ 基本 恒等式 : 
cos(z)cos(y) =(1/2)[cos(a — y) + cos(x + y) J (E-8) 
sin(x)sin(y) =(1/2)[cos(z — y) — cos(x + y) ] (E-9) 
sin(z)cos(y) =(1/2)[sin(a — y) + sin(x + y) ] (E-10) 
cos(x + y) =cos(x)cos(y) 于 sin(x)cosCy) (E-11) 
sin(x + y) =sin(z)cos(y) + cos(x)sin(y) (E+12) 
cos(x + x/2) =F sin(x) (E-13) 
sin(x + x/2) =+ cos(x) (E-14) 
° KHAA: 
cos(x) = (1/2)[exp(jx) 十 exp( 一 jz)]， sin(x) = (1/2j)[exp(jz) 一 exp( 一 jz)] 
(E-15) 


从 而 得 出 欧 拉 恒 等 式 : exp(r) 一 一 1。 
o 直角 和 极 坐 标 形式 : 
rcos(z + $) =rcos($)cos(x) —rsin($)sin(z) (E-16) 
人 acos(z) — bsin(x) (E-17) 
a =rcos($), b = rsin($), r= va +b’, $= arctan(b/a) (E-18) 
e 双 曲 函数 : 
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co 


， w = = Ae eee 
sinh(z) =(1/2)Lexp(z) — exp(— x) ] > (Em D] 


2m+1 


< 2m 
cosh(x) =(1/2)[exp(x) + exp(—x)] = >; m] 





tanh(z) eae (E-19) 
cosh? (x) — sinh? (x) =1, cosh(x) +sinh(x) = exp(+ z) (E-20) 
E.4 Stirling 公式 
阶乘 表达 式 是 
一 s T E RERE (E-21) 


`4 n ARAB, aj Stirling 公式 近似 : 
n! œ (n/e)" /2xn (E-22) 
为 方便 计算 组 合 问题 的 概率 (包括 离散 随机 变量 )， 表 E-1 给 出 了 一 些 阶乘 结果 ， 也 给 
出 了 由 Stirling 公式 得 到 的 近似 值 ( 四 舍 五 人 到 小 数 点 后 一 位 )。 从 中 看 出 ， 即 使 n 值 相对 
较 小 时 近似 也 相当 准确 。 


表 Et 阶乘 和 Stirling 近似 






















ae | o tt | stding 近 似 
40320 39902. 4 
362880 359536. 9 
3628800 3598695. 6 
39916800 39615625. 1 


479001600 
6227020800 
87178291200 
1307674368000 


475687486. 5 
6187239475. 2 
86661001740. 6 
1300430722199. 5 


No m1 A wN C!S 


E.5 泰勒 级 数 
函数 g(Cz) 的 泰勒 级 数 由 z, 处 导数 的 无 限 项 和 表示 。 一 般 公式 为 : 
ed (m) (zo) s 
g(x) = > ope m) (E-23) 
其 中 g” (zo) 是 goH n NFE c= 处 的 取 值 。 麦 克 劳 林 级 数 是 泰勒 级 数 在 x =0 的 特例 。 
E.6 级 数 展开 以 及 和 的 闭合 形式 


@ 指数 : 
exp(r) = >= Sait ER (E-24) 
还 给 出 了 有 用 的 结果 : 
lim(1 + z/n)" = exp(x) (E-25) 
e 三 角 : 


cos(x) = yor Z a sistem) = you `= oi ER (E26) 
° 自然 对 数 : 


oo 


f=" ett = 
ke eg TCS D“ ee 24.1 (E-27) 
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ek: 
Sieve, |el<i (E-28) 
pao I— 4 
Mart =, |z|<1 (E-29) 
n=m == 
oo ¿ë I 
之 /mx (1— x)°' lzi (E-30) 
Pear PUTS) |,|<1 (E-31) 
= C1 == x) 
Sier = PCL eee. |z|<1 (E-32) 
n=1 (1 — z) 
e 有 限 项 和 : 
N — NH 
v=! ones TEL (E-33) 
== 1— 
N 
Dye" = [1 L (N+ Da + Nz], z21 (E-34) 
n=] 61 = 
N 
> n =0⁄2)N(N+1) (E-35) 
n=] 
N 
Zr =0/60N(N+1)(2N +1) (E-36) 
n=1 
N z 
>on =(1/4)N2(N+ 1)? (E-37) 


n=l 


二 1 时 ， 可 以 利用 洛 必 达 法 则 得 到 式 (E-33) 以 及 式 (E-34) 中 闭合 形式 的 结果 。 可 
以 很 容易 看 出 ， 式 (E-33) 的 和 为 N 十 1， 式 (E-34) 的 和 是 式 (E-35) 。 
@ 二 项 式 定理 : 
(=+ y)" = E s=, zy € T]ə,n € Zt (E-38) 


当 r=y=] BJ: 
D2 2" (E-39) 


方便 起 见 ， 表 E-2 提供 了 一 些 二 项 式 系数 。 
表 E-2 二 项 式 系数 






[= 


p ~ 
O O C + @ Q + WN mje 
— 


_ 
° 
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@ 广义 三 项 式 定理 : 
Cry)" = > 外 je ER,|zr|I> |y|, ne Z+ (E-40) 
其 中 上 限 拓 展 到 了 无 穷 大 。 以 下 是 |z| 二 1 的 特殊 情况 


A CAN, Mie a 0 as E À 
(muss = Dalat er tr =a Gal z) (E-41) 
e 多 项 式 定理 : 
m # m 
a owe Py sso Pn i 
| (2a) > > zh (E-42) 
ad oak hae 
© 调和 级 数 : 
SA | 
人 (E-43) 
这 是 p 级 数 的 特例 (发 散 )。 
@ 力 级 数 : 
= (p), p>1 (E-44) 


这 是 附录 B 中 的 泽 塔 函数 。 4 p= oh. 


aya = 8 (E-45) 
1 


E.7 范 德 蒙 恒等式 
定理 E-1( 范 德 蒙 )。 当 mn, k E Zt BF: 


ye peti oo 
证 明 : 考虑 以 下 形式 的 二 项 式 定 理 : 
s ppt = (z+ 1)"*" (E-47) 
K z ËJ m +n 次 多 项 式 。 将 上 式 右 侧 理 解 成 乘积 ， 并 利用 二 项 式 定理 两 次 ， 得到: 
mèn m n 
a = Gl)" (z C D" = DPED (E-48) 
将 的 指数 项 组 合 在 一 起 ， 重 新 整理 表达 式 如 下 ， I 
DERG = 2 211 , 2 I (E-49) 
因此 
N, "i= l Sa (E50) 


需要 注意 的 当 求 和 下 限 超过 上 限时 ， EL _ MARINO. k 是 mm 十 n 次 多 项 式 中 zz 的 
军 ， 并 且 等 式 两 边 都 关于 有 求 和 和 。 由 x” 的 系数 相等 得 到 式 (E-46)， 从 而 完成 了 证 明 。 

利用 以 下 简单 情况 验证 该 证 明 。 考 虑 式 (E-48) 的 乘积 (zx 十 1)*(z 十 1)， 其 中 
7 一 2，7 一 1。 证 明 式 (E-49) 的 最 后 一 Ser irure: 


>ü) e= 3 Gael (ESD 


k=0 p=0 


上 式 左边 是 : 


42 MR 附录 内 容 介 绍 


> (e 一 (jz t G + (,)= + (3)# =1+3r+32 jz  (E-52) 


右边 是 
SAGE = G0)" +(Q)G)+ QQ) 
HOOO GIG) 
+[(0)(8)+ MG) GG (8)(0) le E59 


ERA ASF 0 的 二 项 式 系数 ， 得 到 
DEC) pe = (No + [G+ G0) 
+ [lt eso 


3 k 
SUG) (,- ple lt tet et De (E-55) 
k=0 p=0 


这 与 式 (E-52) 相 等 。 式 (E-49) 右 侧 的 第 一 个 求 和 号 确定 工 的 四 个 医 次 (包括 零 次 ) 的 系数 
的 初始 集合 ， 第 二 个 求 和 号 确定 这 些 系数 的 数目 与 左 侧 相 匹 配 。 从 式 (E-48) 的 右 侧 注 
Bl; 


从 而 


2 1 
>e xí) =(1+2zr+z)(1+z)=1+3z+32 jz — (E-56) 
q=0 


这 与 式 (E-55) 相 等 。 4 
E 8 概率 质量 函数 和 与 函数 形式 


第 3 章 中 的 每 个 概率 质量 函数 (pmf) 要 么 是 有 限 项 和 ， 要 么 是 总 和 为 1 的 无 穷 级 数 。 
大 多 数 随机 变量 的 概率 质量 函数 (不 包括 离散 均匀 概率 质量 函数 ) 的 元 素 具有 函数 形式 ， 如 
R E-3 所 示 。 表 中 去 掉 了 与 x 无 关 的 常数 ， 最 后 一 列 为 去 掉 了 这 些 加 权 后 的 函数 形式 的 总 
和 。 前 五 个 函数 基于 成 功 概率 为 p 的 伯 努 利 试验 。 


表 E-3 离散 随机 变量 概率 质量 函数 的 函数 形式 











伯 努 利 





(p/q)* 


伯 努 利 ( 对 称 ) (Vp/q)” 

L N Ë N 

二 项 式 人 ) tp/® 1/qŠ 

几何 1/p 

几何 (平移 ) q/p 
N 

超 几 何 (. ) 


对 数 


概率 质量 函数 由 函数 形式 确定 ， 表 中 最 后 一 列 的 倒数 只 是 函数 加 权 ， 用 以 保证 概率 质量 
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函数 之 和 为 1。 例 如 ， 对 于 泊 松 随机 变量 ， 表 中 的 第 二 列 的 函数 形式 是 指数 函数 的 级 数 。 因 
此 ， 通 过 和 的 倒数 1/exp(a) 对 函数 形式 进行 加 权 ， 以 得 到 有 效 的 概率 质量 函数 。 同 样 的 ， 对 


于 超 几 何 随机 变量 ， 函 数 形式 必须 由 1/( ，) 进 行 缩放 ， 以 获得 一个 有 效 的 概率 质量 画 数 。 这 


些 概率 质量 函数 和 可 以 用 于 得 到 离散 随机 变量 的 各 种 函数 的 闭合 形式 的 表达 式 ， 通 常 通过 重 
新 排列 方程 得 到 可 辨识 的 和 。 (附录 D 利用 类 似 的 方法 得 到 了 概率 密度 函数 的 积分 ) 。 


E.9 完成 配方 
考虑 二 次 方程 
g(x) ==. Fhe +c (E-57) 
我 们 希望 写成 以 下 形式 
g(X) = a(xz+ di) + d, (E-58) 
很 容易 看 出 
d, = b/2a, d, = c— b /4a (E-59) 


提出 式 (E-57) 中 的 &， 加 减 b /4a° 后 将 式 子 按 如 下 方式 整理 证 明 : 
g(x) 一 aLz2 + (b/a)x] +c 
=a[z°* + (b/a)z +b /da — b /4a2 ] + c 
=al2’ + (b/a)z= + b2/4a2] +c b /4a (E-60) 
式 中 包含 所 需 的 平方 项 : 
g(x) = alx + b/2a)2 + c — b° /4a (E-61) 
这 种 方法 经 常用 于 重新 排列 高 斯 概率 密度 函数 的 指数 。 
当 对 函数 在 工 的 整个 范围 进行 积分 时 ， 通常 可 以 方便 地 将 积分 项 写成 两 部 分 
的 乘积 : 一 部 分 是 与 x 有 关 的 常用 概率 密度 函数 ， 另 一 部 分 与 式 无 关 。 例 如 ， 有 可 能 写成 


Š goara W è f (d = f Pa (E-62) 


其 中 fx(Cz) 是 一 个 有 效 的 概率 密度 函数 ，c 是 常数 或 关于 工 以 外 的 其 他 变量 的 函数 。 
Jx(z) 的 参数 也 有 可 能 是 另 一 个 变量 的 函数 ， 后 面 将 讨论 这 种 情况 。 假 设 我 们 要 对 下 列 函 
数 关 于 工 进行 积分 : 





g(z,y) = — exp(— (a° —2xy)/20) (E-63) 
no 
得 到 关于 一 个 变量 的 函数 。 REBT 

5 AAL. 
g(y) =| a = [ (a: — y)? — y? /20 dx 
=exp(— y’/20°) Fae (x—y)*/20*)dx .~ (E-64) 
因为 最 后 一 个 积分 是 参数 la = y,o} 的 高 斯 概率 密度 函数 ， 最 后 的 结果 为 
g(y) = exp(— y:/20’) (E-65) < 


E. 10 分 部 求 和 法 


分 部 求 和 法 用 来 计算 序列 的 有 限 和 ， 与 用 于 连续 函数 的 分 部 积分 法 类 似 。 
引 理 E-1 对 于 序列 c[k] y[A]: 


Salvia + 1] ZD sobbed sat, “tiya 


k=k, 


= Sa a 1) (E-66) 


k=k, 
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TERR: 将 求 和 移 到 左 侧 并 将 它们 合并 ， 去 掉 rl k]ylk Ii: 


x: (<[k]y( +1] —yleJ clk — 1]) = z=[k, Jy[Ë, + 1]— ylkı]zLkı —1] (E-67) 


消去 求 和 中 的 相同 项 ， 得 到 右 式 。 
需要 注意 的 是 也 可 能 出 现 其 他 形式 ， 如 


好 


Sd) alk — 1) yk] — yolk — 1) ==[#,Jy[k, ] 一 xz[A — 1]yLk—1] 


k=k] 


元 Si eect — afk — 1]) (E-68) 


k=k, 


定义 差分 序列 Ay[kj] 会 y[k&j 一 y[Lk 一 1] 和 z[kj] 全 x[k] 一 z[k 一 1]， 式 (E-68) 可 写成 
S z[k —1Jay[k] = [k ]y[k:] — z[k — Lyle: —1]— 2;y[kJaz[k] (E-69) 
该 形式 类 似 分 部 积分 : 
f” zayo =al yl) A 一 | ypDadzcg (E-70) 
上 式 利用 了 黎 曼 -斯 蒂 尔 切 斯 积分 ( 见 附录 D). 
分 部 求 和 法 可 用 于 验证 式 (E-34) 的 有 限 求 和 公式 。 令 z[k]= k, y[k]= z“ 
得 到 
N N 
kta at) = (Nz — 0 + 2!) — Dw lh = Nz" — Se 


k=1 ` 
(E-71) 
HT AF5 z 相 乘 ， 右 侧 的 求 和 变 简单 了 。 左 侧 提 出 z—1 并 利用 式 (E-33) 的 有 限 


和 处 理 右 侧 ， 得 到 





(z— 1) Dyke = NX! — le L 1 = 2 [N+ Dz" — Nz — 1] (E72) 
= A Ieg 
等 式 两 边 同 时 除 以 并 一 1， 分 子 分 母 同时 乘 以 一 1， 得 到 式 (E-347 的 结果 。 < 


进一步 阅读 


关于 本 附录 中 内 容 的 其 他 信息 可 以 在 下 列 参考 文献 中 找到 :， Beyer(1976), Gradshteyn 和 Ryzhik 
(1980), Kreyszig(1979), Sokolnikoff 和 Redheffer(1966), Weisstein(2003) 


附录 F 
不 等 式 和 期 望 的 界 


在 这 个 附录 中 ， 我 们 将 介绍 为 多 个 期 望 提供 界限 的 几 个 不 等 式 。 其 中 一 些 结论 给 出 了 
证 明 过 程 。 


F.1 柯 西 - 施 瓦 效 和 Holder 不 等 式 


定理 F-1 〈 柯 西 - 施 瓦 效 不 等 式 ) 。 对 于 随机 变量 (X,Y) 和 函数 (g(X),h(Y)) : 
1E[g(CX)AGY)]| 过 velge X] vE Y] (F-1) 
当 且 仅 当 a 3248 P(g(X)=ah(Y))=1 的 某 些 常数 时 ， 等 号 成 立 。 
证 明 : 考虑 下 列 均 方 误差 (Mean-Square Error, MSE); 
EL(g(X) —ah(Y))?] = Ele? (X)] +a? £(h2(Y)]— 2a ELg(X)h(Y)] (F-2) 
其 中 aE€ER 是 常数 。 对 该 表达 式 关于 a 求 微 分 ， 并 令 结 果 为 0， 当 
El g(X)ACY) 
er pros TON 
期 望 最 小 。 参 数 a, 是 该 均 方 误差 的 标量 维 纳 解 ( 见 第 11 章 )， 乘 积 aoh(Y) 是 给 定 测量 值 
h(Y) 时 ，g(X) 的 最 小 均 方 估计 (参见 第 9 章 )。 将 ao 代 人 式 (F-2)， 得 到 


EEWO? _ , ERAND — i 
EEC Ele (Y) ] r iiai 





和 

x” (g[g(X)h(Y)])° ç 

Ele: GX 12 EO] (F-5) 
重新 整理 该 表达 式 ， 对 等 式 两 边 开 平方 ， 并 取 绝 对 值 |ELg(X)h(Y)j]| ， 完 成 了 证 明 。 

为 取 等 号 ， 令 函数 成 比例 g(X)= 二 ah(Y)， 其 中 a 为 实 常 数 。 式 (F-1) 的 左 侧 变 为 





|£€[g(X)jbh(Y)]|= a ELh’(Y)] (F-6) 
右 侧 是 
gee CXD ET? YY] = Va Eelk YD = a Elh (Y ] (F-7) 


ar 如 果 式 (F-2) 中 的 均 方 误差 是 零 ， 则 Pig(X)=ah(Y))=1 
g(X) =(X—px)/ox MACY) =(Y—py) /ov, HH (px spr} 和 lok, 
Crs 上 的 均值 和 和 方差。 那么 


éla(Xyacyy] =u Boy, (F-8) 
GxGy 
是 第 5 章 讨 论 的 相关 系数 。 根 据 柯 西 - 施 瓦 效 不 等 式 可 以 很 快 得 到 ; 
low |< vele CRIED = 1 (F-9) 


柯 西 - 施 瓦 效 不 等 式 是 Holder’s 不 等 式 的 特例 。 这 里 我 们 只 给 出 结论 ， 不 提供 证 明 。 < 
定理 F-2 (Hölder’s 不 等 式 )。 对 于 随机 变量 (X,Y) BH {g(X),h(Y)) 
g[|g(X)jh(Y)|]< EL| gX) DELAY) [24 (F-10) 
Ew? p, gel, 1/p+1/q=1, SARS a Ate P(|g(X)|*=a|h(Y)|%)=1 的 某 些 常数 时 ， 
等 号 成 立 。 
需要 注意 的 是 左 侧 绝 对 值 在 期 望 的 内 部 。 当 p= q=2 时 
ELle(CMaTY) | ] =< Vel eCo]?] yel IACY) [7] (F-11) 
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由 于 |ELg(X)h(Y)] | 过 EL 1g(X)h(Y)|]， 这 是 柯 西 - 施 瓦 兹 不 等 式 的 另 一 种 形式 。 
F.2 三 角 和 闵 科 夫 斯 基 不 等 式 
定理 F-3 (三 角 不 等 式 )。 对 于 随机 变量 (X,Y): > 
VELCX+Y)*] < VELX’ ] + /e€[Y: ] (F-12) 
证 明 : 将 左 侧 开 方 里 面 的 式 子 展开 ， 得 到 
£€g[(X+Y)°]<z£[|X+Y|(|XƏ|+ |Y|)])=#[|X+Y||X|]|J+£[|X+Y||Y|] 
< Jel (X FYS TELX ] + /£[CO(X + Y) er] (F-13) 
其 中 右 侧 两 项 都 利用 了 柯 西 - 施 瓦 效 不 等 式 。 等 式 左右 两 边 同 除 以 VELCXT+Y)]， 完 成 
证 明 。 
三 角 不 等 式 是 闵 科 夫 斯 基 不 等 式 的 特例 ， 这 里 只 给 出 结论 ， 不 提供 证 明 。 
定理 F-4 〈 闵 科 夫 斯 基 不 等 式 )。 对 于 随机 变量 (X.Y) 和 p>1: 


(EL|X+Y]?)'? < (ELIX D + (g[ | Y|)! (F-14) 
3 p=1 时 ， 从 式 (F-14) 可 得 三 角 不 等 式 的 另 一 种 形式 : 
g[|X-+Y|]< [|] X|]+ [| Y|] (F-15) 


F.3 比 安 内 梅 、 切 比 雪 夫 和 马尔 可 夫 不 等 式 


定理 F-5 ( 比 安 内 梅 不 等 式 )。 对 于 随机 变量 X 和 常数 c: 
P(|X—c|>>ó) < (1/ë')£g[| X—c|"*] (F-16) 
其 中 ó—0, AC Zt , 
TERA: 定义 随机 变量 了 会 |X 一 c|"， 其 概率 密度 函数 为 fro). AA Y A fy(y) 都 非 负 : 
EL|X—c|"] =|" y fry > |” yfy(y)dy (F-17) 
其 中 下 限 从 零 增 加 。 取 被 积 函 数 中 y 的 最 小 值 并 把 它 从 积分 中 提出 来 ， 得 到 
ELIX el] S vody = 8PX- cel" >ë) = FP |X — c| > ó) (F-18) 
重新 整理 最 后 一 个 式 子 ， 完 成 证 明 。 
定理 F-6 〈 切 比 雪夫 不 等 式 )。 对 于 均值 为 fx) 


ux. BEA ox 的 随机 变量 X， 在 任意 8 二 0 
时 ， 有 : 





P(|X—px|>0)<ok/8 — (F-19) Moma, A 
证 明 : 切 比 雪夫 不 等 式 是 比 安 内 梅 不 等 式 在 co 


n=2, c=px 的 一 个 特例 。 — 一 -一 

该 不 等 式 说 明了 X 的 “ 绝 大 多 数 ” 值 接近 潜在 = Š r 
概率 密度 函数 的 均值 。 结 果 很 直观 ， 因 为 (i ) 随 图 F-1 切 比 雪夫 不 等 式 与 分 布 的 尾部 偏离 均 
机 变量 偏离 均值 某 些 距离 的 概率 ;( ii ) 概 率 密度 值 距离 的 概率 有 关 ， 这 里 给 出 的 是 参 
函数 的 宽度 (方差 ) 之 间 存 在 联系 。 图 F-1 借 由 高 数 (u = Ovo = /2) 的 高 斯 随机 变量 


斯 随机 变量 说 明了 这 一 联系 。 
定理 F-7 对 于 非 负 函数 g(x)， 在 任意 6>0 时 ， 比 安 内 梅 不 等 式 有 以 下 一 般 形式 
P(g(X) > 8) < e[g(X)1/3 (F-20) 
WERA: 函数 的 期 望 : 
E[g(X)] = |” gCz)7xCz)dz= | efre g fy @)de (F-21) 
因为 g(z) 和 fx(z) 都 非 鳞 ， 因 此 这 两 个 积分 都 非 负 。 从 而 
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Erg(X)] > | scz7xcz)dz > 8 fx(z)dr = oP (gX) >) (F-22) 
其 中 g(z) 已 被 替换 其 最 小 值 6。 重 新 整理 最 后 一 个 表达 式 ， 完 成 证 明 。 
特别 要 注意 ， 前 面 的 不 等 式 中 g(z) 必 须 是 非 负 函数 。 
定理 F-8 (马尔 可 夫 不 等 式 )。 对 于 随机 变量 X: 
P(|X|>8) < #[| X|1⁄8 (F-23) 
a aE ñ Rá gu k 2 Y; 
PCY > 8) < #[YJ/8 (F-24) 
两 个 不 等 式 对 于 任意 O>0 REM., 
证 明 : 马尔 可 夫 不 等 式 是 比 安 内 梅 不 等 式 在 n=1. c=0 时 的 特例 。 
马尔 可 夫 不 等 式 的 一 般 表 达 式 是 : 对 于 n€ Z+ 
PC] X| ay <éEL|X|" er (F-25) 


F.4 切 尔 诺 夫 不 等 式 


定理 F-9 ( 切 尔 诺 夫 不 等 式 )。 对 于 随机 变量 X 和 任意 8 过 0: 
P(X > ë) < exp(— #) ELexp(tX) ] (F-26) 
其 中 ，E[exp(1X) l&n) A X áe 120 HHA BHR, 
证 明 : AR HEE pa EM: 


3 > on 
my (t) =| exp(tr) fx Cadde + | exp(tr) fx(x)de > | exp(tr) fx (a) dx 
oo ë 8 


>>exp(O)| fx (adda = expt) P(X > 8) (F-27) 
ë 


H T exp(iz) 三 0， 得 到 了 第 一 个 不 等 式 ; 将 被 积 函数 中 的 exp (z) Ë pü Bz /|s IË 
exp(t6) ， 得 到 第 二 个 不 等 式 。 重 新 整理 最 后 一 个 表达 式 ， 完 成 证 明 。 
由 于 切 尔 诺 夫 不 等 式 需 要 满足 所 有 的 上 过 0， 最 严格 的 约束 是 : 
PIX So == min(exp(— t§)m,(t)) = min(exp(— tò + In€mx (t))) (F-28) 
这 依赖 于 3 和 特定 矩 母 函 数 的 参数 。 
考虑 参数 为 和 的 指数 随机 变量 


P(X>) = al expt kr dda exp (— 199 (F-29) 
HT X EA, £E[X]=1/A 时 ， 蕊 尔 可 夫 不 等 式 变 为 
P(X >ə) < 1⁄3 (F-30) 
切 尔 诺 夫 不 等 式 为 
P(X > 8) < min(exp(— ë + InQ) —In(—t))) pCR STA 


其 中 指数 随机 变量 的 mx(t) 二 4/(4 一 t)。 对 表达 式 的 指数 部 分 关于 z 进行 微分 ， 令 结果 为 0 
FA RE”: 
: —ë8+1/Q —t) = 0>t =A—1/8 (F-32) 
注意 只 有 当 021/A B, p20; 3 8<1/A 时 ， 加 一 0。 < 
将 这 些 结果 代入 切 尔 诺 夫 不 等 式 ， 得 到 
` , fadexp(1 — 13)» 6 二 1 人 
P(X > ë) < 3 deta i (F-33) 
) 王 1 时 ， 边 界 和 准确 概率 与 8 的 关系 如 图 F-2a 所 示 。 观 察 发 现 马尔 可 夫 限 并 不 严格 
小 于 1， 当 $ 较 大 时 ， 切 尔 诺 夫 限 更 严格 。 标 准 高 斯 随机 变量 的 结果 如 图 F-2b 所 示 。 相 应 
的 式 子 是 (用 切 比 雪夫 代替 马尔 可 夫 ) 
P(|X|>26) =2Q(6) (准确 ) (F-34) 
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P(|X|> 8) <1/ ( 切 比 雪夫 ) (F-35) 

P(|X|>6) <2 min(exp(— # +  /2)) ( 切 尔 诺 夫 ) (F-36) 
1 
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图 F-2 fJ F-2 的 概率 界 。a)4 二 1 的 指数 分 布 ; b) {jy 二 0, o 二 1) 的 标准 高 斯 分 布 


其 中 QC， ) 是 Q 函数 。 需 要 注意 的 是 准确 结果 和 切 尔 诺 夫 限 都 包含 了 因子 2， 这 是 因 

为 概率 涉及 |X|， 该 对 称 分 布 的 两 个 尾部 都 要 考虑 。 当 1 二 6 时， 最 后 一 个 式 子 取 最 小 ， 因 
此 图 中 利用 的 切 尔 诺 夫 限 是 

P(|X|>6) < 2exp(— 8/2) (F-37) 


F.5 Jensen 不 等 式 


定理 F-10 (Jensen 不等式) 。 设 和 是 定义 在 开 区 间 的 随机 变量 ， 其 累积 分 布 函数 为 
Fx(Zz)，g(Czr) 是 一 个 西 函 数 。 则 
g(ELX]) < £[g(X)] (F-38) 
证 明 : 利用 是 函数 的 定义 ( 见 附录 B)， 存 在 一 条 线 c(x) 二 a(x 一 xo) 十 g(xo)， 使 得 对 
于 开 区 间 中 的 所 有 x， 都 有 cl(zx) 三 g(x)。 因 此 对 于 随机 变量 X: 
ELe(X)] < E[g(X) ] (F-39) 
& CX) PR x =ELX], MM 
g[e(X)] = a(g[X]—#£[X])—+ g(£[X]) = g(ELX]) (F-40) 
将 该 结果 代入 式 (F-39)， 完 成 证 明 。 如 果 glo) EKR, MS CF-38) 2 HA 
等 ， 除 非 g(X) 二 ELg(X)] 的 概率 是 1。 
反 过 来 ， 如 果 g(z) 是 一 个 四 函数 ， 式 (F-38) 的 不 等 式 变 号 。 下 面 的 例子 给 出 了 信息 
论 ( 参 见 第 10 章 ) 的 结果 ， 对 于 第 9 章 的 最 大 期 望 算法 同样 有 用 。 
考虑 概率 密度 函数 为 fx(z) 的 随机 变量 X， 设 g(Cz) 是 一 个 非 负 函 数 (可 以 是 
也 可 以 不 是 概率 密度 函数 )。 定 义 随 机 变量 Y 全 g(X)VFCX)。 虽 然 _Fx(Cz) 是 X 的 概率 密 
Fe m 3k. 这 里 用 它 作 为 随机 变量 和 的 函数 。 第 5 章 中 提 到 计算 ELY] 不 一 定 要 找到 fy (y); 
相反 ， 


ECY] = k Erak (F-41) 
RA y(z)=g(z)/fx(z), RF BHA 
#[eQO/f OO) = | glade (F-42) 


KE g(x) 下 的 面积 。 接 下 来 考虑 上 是 函数 log(Y)， 得 到 
ELlog(g(X)/fx(X))] = 4 log(g(x)/fx(x))fx(x)dx (F-43) 
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由 Jensen 不 等 式 得 到 下 限 : 
#[log(g(X)/ fxCX)J > log(€[z(X)/ fx XD = log(| gdr) CF) 


其 中 利用 了 (F-42)。 如 果 g(x) 恰 好 是 概率 密度 函数 ， 则 式 (F-=42) 等 于 1， 下限 变 为 
ELlog(g(X)/fx(X))] >0 (F-45) < 


F.6 克拉 美 罗 不 等 式 


克拉 美 罗 不 等 式 提供 了 估计 方差 的 下 限 ， 它 也 称 为 克拉 美 罗 下 限 (Cramer-Rao lower 
bound, CRLB), CRLB 可 以 作为 分 布 参数 的 有 偏 和 无 偏 估 计 人 性 能 的 度量 ， 如 第 9 章 所 述 。 
这 里 提供 了 一 个 无 偏 估计 的 推导 ， 并 给 出 了 有 偏 估计 以 及 参数 向 量 估计 的 结果 。 

定理 F-11 (克拉 美 罗 不 等 式 )。 设 工 是 标量 参数 0 的 函数 g5(g) 的 一 个 无 偏 估计 ， 
P(X. Xn} 是 概率 密度 函数 Fr(Czi0) 的 独立 同 分 布 的 样本 。 令 T=t 是 样本 lor 
zs) 的 特定 估计 值 ， 并 满足 下 列 正 则 条 件 : 


° 对 参数 求 导 
Slog(fx(z30)) 对 于 任意 工 和 0 都 存在 (F-46) 
oe 积分 和 求 导 交换 工 : 
af u [| Heya, = [F j! a Ire, aydim Tao 
° RPR I: 
S [Hl Faroe, = F Fa 3 JI ez. nas, (F-48) 
e 正 期 望 的 取 值 范 围 : 
0 < ef (Slo fx(xX1) |< ~ (F-49) 
6 的 无 偏 估计 人 的 方差 下 限 为 
var[ T] > lz) (F-50) 


N e| (Blog(fx (X10))) | 


需要 注意 的 是 随机 变量 X 出 现在 概率 密度 函数 的 参数 中 。 
证 明 : 由 于 了 是 g(0) 的 无 偏 估计 ， 


sgO=| [u Treena (F-51) 
求 导 得 到 5 
Og0=| | Sirs (2, 0)dz, (F-52) 
由 于 
[e f Troaz, =1 (F-53) 
式 (F-52) 可 以 扩 写 成 : 


S = | E F ' S Ll /f(s — g(0) S|: - [I fas ae, 54 
上 式 只 是 减 去 了 0， 因 为 它 是 对 式 (F- 53) 中 的 常数 求 导 。 从 而 


ə =| -f ET (F-55) 
Se bm Wf 8 13 Ire 
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对 于 任意 函数 c(0)， 都 有 以 下 等 式 : 
9 Love de 49, 9 = ° 5 
zg ECO) =a s O> gO c0) g OEC (F-56) 
在 式 (F-55) 中 利用 这 一 性 质 ， 得 到 


I N N 
a i > fs) 7 
B68 (0) af ... {ft t— g(6) | al og ( II e, ;0) ) ll e, 3:0) dz, 


=é| [T— 2] Slog( [LF CX,0)) | (F-57) 
从 柯 西 - 施 瓦 兹 不 等 式 : 
(Sem ) <EKT= g0] e| (Sloe TLAX. :0) ) ] (F-58) 


其 中 等 式 右边 第 一 个 期 望 是 g(0) 的 无 偏 估计 了 的 方差 。 由 于 样本 (Xl,…,Xn} 独立 同 
分 布 : 


e| (Slog IL /CX,:0)) | = N ef (Sto ex; ) | (F-59) 
将 该 式 代 入 式 (F-58) 并 重新 排列 该 结果 ， 完 成 了 证 明 。 
重点 要 注意 CRLB 不 依赖 于 特定 无 偏 估计 值 T. 
定义 (Fisher 信息 ) 式 (F-50) 中 的 分 母 称 为 Fisher 信息 : 
T(b) AN e| (Slog(fx X10) | (F-60) 
上 述 对 数 未 指定 底 ， 但 最 常见 的 是 以 e 为 底 。 
定理 F-12 ”如果 将 上 述 正 则 性 条 件 拓 展 到 二 阶 导数 ，Fisher 信息 也 可 表示 如 下 : 


a | 
| Te) =— Ne| = og( fx (X30)) | (F-61) 
证 明 : 考虑 下 列 导数 : 
a= >: : 
N ol" fade = 0 (F-62) 


由 于 对 有 效 概率 密度 函数 积分 的 结果 求 导 ， 上 式 等 于 零 。 交 换 积分 和 求 导 的 顺序 ， 利 用 
式 (F-56) 并 令 c(0) = flr; O, 148 


N e| Slog’ f(X+0)) |= 0 (F-63) 
再 求 导 并 使 用 链 式 法 则 ， 得 到 i 
N e| Slogs) |+ N e| (Slog x10) |= 0 (F-64) 


第 二 项 是 式 (F-60) 中 的 Fisher 信息 ， 从 而 完成 了 证 明 。 
对 于 参数 为 A 的 指数 随机 变量 ,将 N 个 样本 的 均值 作为 8(4) 三 1/X 的 估计 。 
Fisher 信息 为 





ti) == N [iInGexp(— AX)) |= N/a (F-65) 
而 且 由 于 
=Q) =— 1/3? (F-66) 
该 CRLB 是 
var[ TJ > N: (F-67) 


RAELXI=1/A, # 348 00 3 2 3 


附录 下 不 等 式 和 期 望 的 界 501 
E[(X—1/A)] = ECX? ] — (2/A) ELX] + 1/2 = ELX? ] — 172? (F-68) 
由 于 样本 独立 同 分 布 
e[X?] = GON £[X:]+ (N: — NXCEEX D?) 


pyr 2 ed 2 Nat 
“SNSD = as (F-69) 


将 这 个 结果 与 式 (F-68) 结 合 ， 我 们 发 现 样 本 均值 达到 了 式 (F-67) 中 的 CRLB; T= X E 





8(A) 的 一 致 最 小 方差 无 偏 估 计 (UMVU)( 见 第 9 章 )。 < 
定理 F-13 ”对 于 偏差 为 B(9) 的 g(b) 的 有 偏 估计 T 
E[T] = g(0) + B(0) (F-70) 
CRLB £ 


ÉE "E BO) | 
var[ T] > 


N ef (logc) ] ee 


证 明 : 参见 习题 9-35 。 

最 后 ， 考虑 有 M 个 参数 的 向 量 0 会 [0, y... 02], 并 令 g(0) Alge), , gak OT 是 
参数 函数 的 向 量 。 将 g(0) 的 个 元 素 的 估计 定义 成 向 量 T 会 [TT ,…,'Tr] ,并 假定 它 无 
i: ELT] = g(0).% J € RON 是 下 列 雅 可 比 矩 阵 ( 见 附录 G): 


39, E (0) 59,8! (0) 
J 4 Se) = š : (F-72) 
"Sn a ae 
AQ) Sex 0) 
定理 F-14 对 于 参数 向 量 g(6) 的 无 偏 估计 T: 
cov[T] > J T (0J" (F-73) 
其 中 . 
L S: “ay Say aN. f 
T0) =é| Slog’ f(X 0) (loef (X10))) ] (F-74) 
2 
=- e| Solog( ex; 0) | (F-75) 


是 Fisher 4š 8; EERO 
式 (F-73) 在 半 正 定 (PSD) 范 畴 定义 ， 这 意味 着 对 于 任意 非 零 向 量 a, 
a'cov[T]a > a!J T! (0)J'a (F-76) 
或 者 说 ， 式 CE-73) 的 左 侧 部 分 减 去 右 侧 部 分 得 到 的 矩阵 是 半 正 定 的 。 


进一步 阅读 


本 附录 中 的 不 等 式 在 第 5、9、10 章 末 尾 的 参考 文献 中 有 所 讨论 。 包 括 Lehmann(1983), McEliece 
(1977), Mendel(1995), Mood, Graybill, Boes(1974), Papoulis(1965), 
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最 后 的 附录 中 ， 总 结 了 和 矩阵 和 向 量 的 一 些 重要 性 质 。 主 要 关注 元 素 是 实数 的 矩阵 和 向 
量 ， 但 也 提供 了 一 些 复 和 矩阵 和 向 量 的 结果 。 


G. 1 基本 性 质 
考虑 下 列 M 行 (a7}N Fil (a, ) HIE AER, 


air 
A= [a; 2°ss qas |= | | (G-1) 


其 中 ， 上 标 ” RIPER RRR. A 的 标量 元 素 由 {aw} 表 示 。 本 书 中 的 所 有 向 量 都 定 
义 成 列 向 量 ; 行 向 量 通过 使 用 工 得 到 。 
定义 (线性 相关 ) TERE EES } 满 足下 列 条 件 ， 则 A 的 列 向 量 线性 相关 


Dna. = Av = 0 (G-2) 


Heb z 2 [x,..., rn], OER” 是 全 零 的 列 向 量 。 否则 ， 它 们 线性 无 关 。 
类 似 的 定义 适用 于 A 的 行 向 量 。 
ENGK) 4AE r 是 线性 无 关 的 列 的 数目 ， 也 是 线性 无 关 的 行 的 数目 。 
显然 > 和 min{ M:N}. 后 面 的 一 系列 定义 中 ,假设 AERN** 是 MM 二 NN 的 方 阵 。 
FE MLO ARE) tR ASA, ARME; 如 果 ATSA, ARAIRE, 
对 于 具有 合适 行列 数 的 和 矩阵 : 


(A,A,)! = AZ AT (G-3) 

定义 ( 非 奇 异 ) wREEAGABBEA', 
AA'=A'A=I1 (G-4) 

则 A 非 奇 异 。 其 中 ICR REG, WRARHHEH, NAR. 


非 奇 异 矩 阵 A 具有 以 下 性 质 : 

e CAT)'l= (A A 

e Ax=y 具有 了 唯一 解 x 二 A 'y。 

e 行列 式 非 零 : det(A) 关 0 

e 它 具 有 满 秩 r+ 二 N， 并 且 行 和 列 都 是 线性 无 关 的 。 

e 对 于 合适 行列 数 的 非 奇异 矩阵 : 

人 (G-5) 

定义 (正定 ) 如 果 对 于 任意 非 零 的 xXERN， 都 有 xiI4x 二 0， 则 和 矩阵 人 正定 (Positive 
Definite，PSD)。 同 样 地 ， 如 果 对 于 任意 非 零 的 x€ RN, x"Axlo, x!Ax<0 Z, x! Ax S0 
和 矩阵 A 分 别 半 正定 、 负 定 或 半 负 定 。 

定义 (Toeplitz 和 循环 ) +e KO EBE A 中 任 一 条 平行 于 主 对 角 线 的 元 素 相 同 ， 则 其 是 
Toeplitz 矩阵 。 如 果 行 向 量 的 每 个 元 素 都 是 前 一 行 向 量 的 元 素平 移 一 个 位 置 得 到 的 ， 该 
Toeplitz 矩阵 是 循环 矩阵 。 

一 个 Toeplitz 矩阵 最 多 含有 N 个 不 同 元 素 : 任何 行 或 列 的 元 素 都 能 指定 整个 矩阵 。 

EM(RF) šA SAN, HHARBSEE, 
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定义 ( 正 交 ) wR A'A=AA'=I, Am A'A, EF A 是正 交 和 矩阵 。 

EXC) 如果 存 在 开 EN， 使 得 4 一 0， 则 矩阵 4 是 寡 零 矩阵 。 

所 有 主 对 角 线 元 素 是 零 的 三 角 和 矩阵 都 是 寡 零 矩阵 。 然 而 ， 这 不 是 必要 条 件 ; 存在 所 有 
TRASH RE BEA, (AT Oa A. ER REA K 时 ， 所 有 项 最 终 
消去 。 

随机 序列 向 量 XLR 的 自 相 关 和 矩阵 定义 为 如 下 期 望 ， 


Rxx 全 ELX[LR]XT LE] (G-6) 
Hy X[k]2 [X[k], +) XG N+1]]1 包含 序列 的 N 38k, CH-DMRER: 
Rx = £€r[x[k]X'[#]J] = £[x[k ]X'[k]] = Rxx (G-7) 
其 特征 值 是 实数 。 因 为 对 于 每 一 个 非 零 向 量 v, WA 
Ro = Elo XIX [E Jo J] = £[ (v! X[k]? ] > 0 (G-8) 
自 相 关 和 矩阵 也 是 半 正 定 的 。 其 特征 值 非 负 。 观察 发 现 Rxx 也 是 Toeplitz 矩阵 : 
SLX EET] ELXLRIXLk—1]] … ELX[kIX[k—N++1]] 
Rex ELXLk — 1]) X[ £ ]] ELX2:[R 一 1]] 
LXLk—N+1]JXLk] eea ECER- NE l 
Rxx [0] Rxx[1] A Rxx[N—1] 
“Sew Rxx [0] ° | (G-9) 
Rxx LN— 1] sep Rxx[0] 
其 中 ，Rxx [mj 会 E[X(k]X[k 十 mx] 二 Rxx[L 一 mx]。 这 种 类 型 的 矩阵 出 现在 第 11、12 章 的 最 
优 滤波 和 自 适 应 滤波 的 应 用 中 。 < 


假设 AEC”** 是 一 个 复数 方 阵 。 
定义 (Hermitian) +e ASA", 3EFEA Z Hermitian 矩阵 如果 A 二 一 和 A,， ABR 
Hermitian 矩阵 。 
bbe" 4m BH a OBEH Hermitian 转 置 )。 对 于 具有 合适 行列 数 的 矩阵 : 
(A;A,)" = AFA? (G-10) 
M(H) wR AMA=AA"=I, Aim A'=A", EF A Z BEBE, 
复 和 矩阵 的 Hermitian 和 西 分 别 对 应 实 和 矩阵 的 对 称 和 正 交 的 定义 。 


G.2 四 则 子 空间 


再 考虑 秩 为 r 的 实 和 矩阵 4ER > 。 

定义 ( 列 空间 ) 敌阵 和 的 列 空间 的 维 数 是 rr， 并 且 和 包含 列 向 量 的 所 有 线性 组 合 。 它 也 
AA A 的 值 域 。 

在 下 面 的 表达 式 中 ，y€E M 属于 4 的 列 空 间 : 


y= Ay EN >a, (G-11) 
n=1 


Hp yA {zorn} s (an) Æ A 的 列 。 
定义 ( 零 空间 ) EFFE A 的 零 空 间 的 维 数 是 N —r, 并 且 包 括 所 有 满足 下 列 条 件 的 向 
= x: 
Ax =0 (G-12) 
其 中 0ER”。 零 空间 也 称 为 A 的 核 ， 并 且 其 维 数 称 为 零 化 度 。 
定义 ( 行 空间 ) ”矩阵 A 的 行 空间 的 维 数 是 r-， 并 且 包 含 行 向 量 的 所 有 线性 组 合 。 
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M 
y=A'x= )) 2, GŠ (G-13) 


m=1 
其 中 x 会 [zi,…,zxmj]" , (TÆ AWIT. A 的 行 空间 是 4” 的 列 空间 。 
定义 ( 左 零 空间 ) EEA 的 左 零 空间 的 维 数 是 M 一 r， 并 且 包 含 所 有 满足 下 列 条 件 的 
向 量 x: 
A'x=0 (G-14) 
其 中 0ER”N。A 的 左 零 空间 是 A' 的 零 空间 。 


G. 3 特征 分 解 


在 本 节 中 ， 我 们 考虑 一 种 特殊 类 型 的 矩阵 分 解 一 一 特征 分 解 。 它 对 于 研究 线性 系统 的 
特性 非常 有 用 。G. 4 节 总 结 了 其 他 类 型 的 矩阵 分 解 。 根 据 特征 分 解 产 生 的 对 角 和 矩阵 ， 也 称 
为 A 的 对 角形 式 。 

定义 (特征 值 和 特征 向 量 ) 方 阵 AERN*N 的 特征 值 满足 下 面 的 公式 : 

Aq = iq (G-15) 
非 零 向 量 g 称 为 特征 向 量 。 

观察 发 现 式 (G-15) 可 改写 为 (4 一 AI)qg= 二 0， 表 明 gq 属于 A 一 XI 的 零 空 间 。 特 征 值 4 保 
证 该 零 空 间 非 空 ， 这 意味 着 4 一 MT 是 奇异 矩阵 。 由 于 奇异 矩阵 的 行列 式 是 零 ， 我 们 可 以 通 
过 求解 下 面 的 特征 方程 得 到 特征 值 : 


det(A—Al) = 0 (G-16) 
直接 由 式 (G-16) 得 到 关于 和 的 n 次 多 项 式 : 
AN Fani AN! HeH aA Hao = 0 (G17) 


其 中 系数 {a,} 由 4 的 元 素 决 定 。 关 于 4 的 方程 有 N 个 解 。 然 而 它们 有 可 能 是 重 根 ， 有 可 能 是 
零 ， 也 有 可 能 是 复数 。 在 下 面 的 讨论 中 ， 假 定 特征 值 是 实数 (如 果 和 矩阵 是 对 称 和 矩阵) 。 
如 果 A, 是 式 (G-16) 的 一 个 根 ， 对 应 的 特征 向 量 q, 通过 求解 式 (G-15) 得 到 : 
(A—A,I)q, = 0 (G-18) 
由 于 L, BRE. AAI 奇异 ， 它 的 零 空 间 非 空 ，q, 是 零 空 间 的 任意 向 量 。 特 征 向 
量 不 唯一 : 如果 q, 是 一 个 特征 向 量 ， 则 任意 非 零 ERIH aq, 满足 式 (G-15)， 它 也 是 
特征 向 量 。 为 方便 起 见 ， 令 q, 具有 单位 范 数 : gig. 全 | 1gq,||’=1。 
定理 G-1 (特征 分 解 )。 如 果 方 阵 AERN*N 是 满 秩 rr 一 N， 那 么 有 N 个 线性 无 关 的 特 
fE QE, A 可 以 分 解 如 下 : 
A = QAQ” (G-19) 
KP af EB AC NNOO Ai IE, BRE QERN*N 的 列 是 特征 向 量 。 如 果 A 是 一 个 对 称 
E, MJ Q '=gQ', 
证 明 : 定义 特征 向 量 和 矩阵 


Q@ 全 [qqN] (G-20) 
和 特征 值 对 角 和 矩阵 
Ai Om ai 
re Lo NA à (G-21) 
’ É Geom Ans 
根据 式 (G-15) 的 定义 ， 逐 列 排列 特征 向 量 : 
Alq sgn] = [àq ,ANgN] (G-22) 
上 式 可 以 写成 
AQ = QA (G-23) 


因为 特征 向 量 线性 无 关 ，0 存在 ，(G-19) 得 证 。 如 果 A EM MMH, A= 
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(QAQ ')'=Q 'AQ' 意味 着 Q 一 CQ ， 从 而 完成 了 证 明 。 
前 面 特征 向 量 的 定义 是 最 常用 的 定义 之 一 ， 虽 然 严格 意义 上 称 它 们 为 右 特征 向 量 。 我 
们 也 可 以 写 出 特征 方程 的 左 特征 向 量 ， 如 下 所 示 : 
vA = (G-24) 
事实 证 明 ， 特 征 值 与 前 面 结果 相同 ,但 一 般 来 说 ， 左 和 右 特征 向 量 不 等 。 将 左 特征 向 
量 逐 行 排列 : 
v Ari 
; |4 = 
VN AN¥N 
其 中 A 是 前 面 定 义 的 特征 值 矩 阵 , YY 全 [六 ，…，wj]。 最 后 一 个 结果 假设 左 特 征 向 量 是 线 
性 无 关 的 。VT 的 行 是 4 的 左 特征 向 量 。 如 果 4 是 一 个 对 称 和 矩阵 ， 则 左 和 右 特征 向 量 是 彼 
此 的 转 置 ，(V”) "= 二 Q=>V= 二 Q， 并 且 
AT = VAV" = QAQ" =QAQ" = A (G-26) 
接 下 来 我 们 将 介绍 奇异 值 分 解 (SVD)， 它 将 特征 分 解 推 广 到 长 方 矩阵 ， 这 里 没有 给 出 
证 明 。 
定理 G-2 (SVD), KZ EB AERYN 可 以 进行 如 下 分 解 ， 
A= Ju y (G-27) 
其 中 ER 5 X x f 2 3 3k Ñ HAEE, HB xf 2 K ANAHE, UERY 
REREH, CHAMRAFHAL, RVERV 2 EX EB, CHIMNAAFHOT. 


G.4 LU, LDU 和 Cholesky 分 解 


在 介绍 正定 矩阵 的 Cholesky 分 解 前 ， 先 总 结 其 他 矩阵 分 解 ， 这 里 没有 给 出 证 明 。 

定义 (顺序 主子 式 ) BRACR thn 阶 顺序 主子 式 A,ER"" 是 一 个 方 阵 ， 通 过 保 
留 A 的 前 n 行 和 前 n 列 得 到 。 

当然 ， 前 面 的 定义 假设 三 min(M.N), 

定理 G-3 (LU 分 解 )。 当 nn 过 min(M 一 1,N) h, 如果 AERMN 的 所 有 顺序 主子 式 
A, ECR” apak FF, WI 


=>V'A = AV'>A=V'AV' (G-25) 














A = LU (G-28) 
其 中 ; LERMYM“ZEMHARAEA LA FZ &⁄, UCR” R -ALAE 
需要 注意 的 是 , L ku yE, MRARBIER, WUBKTER. EMMARTRA 
1 的 下 (上 ) 三 角 和 矩阵 称 为 单位 下 (上 ) 三 角 给 阵 。 
定理 G-4 (LDU 分 解 )。 如 果 方 阵 入 ERN*N 的 所 有 顺序 主子 式 A, MASH, M 
A = LDU | (G-29) 
PLERIN- 3: F F ñ Ek, UER NYZ — F $t:£ LE Z= BHM, DERE- 
Ay xt AEE, 
如 果 A 正定 ， 则 D 的 对 角 元 素 都 是 正 的 。 
定理 G-5 (Cholesky 分 解 )。 如 果 4ERANXN 是 对 称 正 定 矩 阵 ， 则 
A = BBT (G-30) 
其 中 BERN AH ALEAEH FLARE. 
由 于 在 LDU 分 解 中 ，D 的 对 角 元 素 都 为 正 ， 显 然 B= 二 LD”， 其 中 D“ 是 D 的 平方 


$W, H, D=(D Y., 
考虑 对 称 正定 矩阵 
1 1/2 
-Í 2 1 | (G-31) 
1⁄2) £2 
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它 具 有 以 下 LU 分 解 : 


16 4⁄4 20 1: 4/2 
L = 区 1 w= [ 3/2 7 (G-32) 
1⁄4 1⁄2 1 0 0 3⁄2 
其 LDU 分 解 包括 对 角 和 矩阵 
0 0 
p- |o 3/2 0 | (G-33) 
0> 0" '¥<3/2 


# Cholesky 分 解 包含 下 三 角 和 矩阵 
1.4142 0 0 
B= ° 7071 1152247 10 | (G-34) 
0.3536 0.6124 1.2247 
出 于 完整 性 ， 也 给 出 和 A 的 特征 分 解 ; 
— 0. 4544 —0.7071 0.5418 .8139 0 0 
Q = | 0. 7662 0 0. 2 A= [ Lox 9 | (G-35) < 
— 0. 2544 0.7071 0.5418 0 0 3. 6861 


G.5 ERY bk 4E BE HEAT bk 


令 Tai Bm (XI 9 * °" Dn) 是 从 {zi ITCN 到 {yy sees yM} 的 M 个 实 值 函 数 。 
TEM CET HH) FEAE JC srn) € TAN 包含 以 下 偏 微 分 : 
Oy /O2X) += mites 


MEN sty) B (G-36) 





Oym/Ox, ** Oym/OrN 
其 中 J (2x1 staty) 的 参数 决定 了 独立 变量 ， A th 48 Ey OH (E ey} 的 函数 。 
假定 人 eee 是 一 个 方 降 5 
定义 ( 雅 可 比 行列 式 ) FEJ sdn) 的 雅 可 比 行列 式 ( 简 称 为 雅 可 比 ) 是 如 下 行 
列 式 : 
J(Czi…yZN) &det(J (ris rn)) = |J(mi, t, zə8)| (G-37) 
3 M=N=2 BF, yı = 21621522) , Y2 = gz(XiyXz)。 可 以 将 同一 组 变量 的 两 个 雅 可 比 
定义 为 : 
Oy1/ x1 Oy; /Ox2 02/091 02x /dy2 
Oy2/02, Oy2/OX2 eS ed y Əz:/Əyı Əx,/Əy: 38? 
同样 的 ， 参 数 决 定 了 独立 变量 。 可 以 直接 验证 以 下 性 质 : 
J (a3 522)I Cy +92) = 1 (G-39) 
当 积分 中 存在 变量 的 变换 时 ， 通 常 利用 雅 可 比 | 了 | 的 绝对 值 简化 积分 运算 。 令 zi = 
hi (yı ,72) » p = h: Cy y2) RARER, W| HR CCH ry) 的 积分 可 以 由 两 种 不 同方 法 计算 : 


|]. +X2)dx, dz; = c(hi (yi ,y:) she Cy; 2y2)) [J (y, sy: ) | dy: dy; 


J Cay 9X2) = 


= c(h, (y, ,y:) h; (y) »Y2)) | Ja 9X2) |" dy, dyz (G-40) 


第 二 个 等 式 利 用 了 式 (G-39) 。 需 要 注意 的 是 ， 已 经 将 逆 变换 代入 cCziyzz)， 右 侧 积分 限 必 
须 由 yy) 定义 。 第 二 个 等 式 大 家 可 能 更 熟悉 ， 其 雅 可 比 基 于 变换 8ICzyz) 和 
g2(Cziyzz), 通常 在 问题 描述 时 已 经 给 定 了 。 但 是 ， 第 一 个 等 式 计 算 比 较 方 便 ， 因 为 逆 变 换 
hi Cyr eye) 、 h: Cy yz) 更 容易 微分 。 

第 4 章 介绍 了 在 计算 随机 变量 变换 的 联合 概率 密度 函数 时 ， 雅 可 比比 较 有 用 。 例 G-3 
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利用 雅 可 比 计算 一 个 定 积分 。 
URSO 应 用 更 广泛 的 变换 之 一 是 直角 到 极 坐 标的 转换 : 











x = rcos($), y = rsin($) (G-41) 
其 
tolpe Dz/ar an cos($) — rsin($) 
Əy/Ər Əy/Ə$ sin($) rcos(%) 
=rcos ($) + rsin? ($) = r (G-42) 
逆 变 换 是 
zy: =r cos’ (6) + risin A>r = Jz? + x° (G-43) 
y/x =rsin($)/rcos($)=>$ = arctan(y/x) (G-44) 
虽然 式 (G-42) 的 雅 可 比 计 算 简 单 ， 但 为 了 完整 性 ， 也 提供 了 另 一 个 雅 可 比 : 
Rabu ar/ar Br/ay| _ | z=/ VÆ Fy y/ /= Fy 
+°: | $/oz el” È Matty) a/y) 
y > y 
=M top = (G-45) 
假设 要 计算 下 列 定 积分 : 
ap Vay 
Ni (x* + y )dzdy (G-46) 
在 上 面 的 变换 中 使 用 以 下 替换 : 
zt +y =r, drdy= J(r,¢)drdé = rdrd$ (G-47) 
广 和 多 的 下 限 均 为 零 ， 并 且 上 限 是 
r=Vr +y |, Va = Ve y Fy =a 
$ =arctan(y/ Jo’ — y) | y-a = 2/2 (G-48) 
从 而 
ap les #2 fa 
[U 7 Gt + y5azay = [aras = a a/8 (G-49) < 


G.6 KRONECKER 和 SCHUR 积 


定义 (Kronecker #) 88 £ AER fo BE R?*2 4 Kronecker 积 是 一 个 MP X NQ 的 
By He FEE 





aB … aB 
sons! ; J (G-50) 
amB … ayvB 
其 中 左上 分 块 是 
anbi `° anbig 
an B = : š : | (G-51) 
abp + ai: bp 
其 他 分 块 类 似 。 


虽然 Kronecker 积 满足 结合 律 ， 但 不 满足 交换 律 : A@B 了 BO@A。 还 要 注意 的 是 A 和 
B 可 以 是 向 量 : WR A—a € RM 是 一 个 列 向 量 ，B 一 bE RN 是 一 个 行 向 量 ， 则 AG2B € 
RAY 是 一 个 矩阵 。 对 于 这 种 情况 Kronecker 积 简化 为 标准 向 量 外 积 ab", 

定义 (Schur 积 ) ATEH AER FH BER, 通过 对 应 元 素 分 别 相 乘 得 到 
Schur 积 : 
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anb va ainbin 
ASB | fo 6", 
am bm °° QuMND MN 


因此 ABER, Etk Hadamard 积 。 
Schur 积 满 足 交 换 律 和 结合 律 。 


G. 7 迹 和 行列 式 的 性 质 
定义 ( 迹 ) 方 阵 AERN** 的 迹 是 


N 
eh 
n=1 


其 中 {aw} 是 他 的 对 角 线 元 素 。 
迹 具 有 以 下 性 质 : 
© 特征 值 {4,): 
tA 二 Maa. ei) = Se 
n=) n=] 
o 加 法 和 标量 (c.d) 的 乘法 : 
tr[cA + dB] = ctr[A]+ dtr[B ] 
e 交换 率 : trL4B]=trLB4] 以 及 
tr[ABC | =tr[ BCA ] = tr[CAB | 
天 trLCBA | 或 trLACB] È tr[ BAC ] 
e Kronecker #; 
tr[A ®© B] = tr[A]tr[B] 
o 相似 不 变 : HT TBH P 
tr[P'AP | = tr[A] 
@ +i £ #FE A fo B 的 限 : 
0 < tr[ (AB)* ] < (tr[A]tr[B])* 
HE AC 237 的 行列 式 有 以 下 性 质 : 
e 45%. det(A)=det(A'), 
e i; det(A ')=1/det(A), 
© 乘 以 一 个 常数 c: det(cA)=c'det(A), 
e 分 配 : 如果 BER”, det(AB)=det(A)det(B), 


G.8 ERASE 


(G-52) 


(G-53) 


(G-54) 


(G-55) 


(G-56) 
(G-57) 


(G-58) 


(G-59) 


(G-60) 


矩阵 的 下 列 性 质 ， 也 称 为 Sherman-Morrison-Woodbury 公式 ， 在 第 11 WHE SBIR 


小 二 乘 (Recursive Least-Squares，RLS) 算 法 时 是 非常 有 用 的 。 
引 理 G-1 (ERM). TEETÄ EBED.: 
(B+UDV') 1 = B!—B'U(D'+V'B"U)'vV'B' 
EYP, HEU HV 不 一 定 是 方 阵 。 
证 明 参 见习 题 11-17 。 
4 U—u Al V— o 是 列 向 量 时 ， 和 矩阵 求 逆 引 理 简化 为 Sherman-Morrison 公式 : 
(B+ duv')' = B'—B'w'B'/(d'+v'B'u) 


(G-61) 


(G-62) 


由 于 D—d 必然 是 一 个 标量 ， 除 数 变 成 标量 d t+ Bou, OTH Sf. E 


用 来 导出 RLS 算法 的 套路 。 
G.9 柯 西 - 施 瓦 兹 不 等 式 
同样 维 数 的 向 量 对 应 的 柯 西 - 施 瓦 兹 不 等 式 是 
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Ty) < xxyy = || x° l yl (G-63) 
当 且 仅 当 x=cy, HHP cER 非 零 时 等 号 成 立 。 等 效 的 不 等 式 是 
|x'y|< Y xl Hyl (G-64) 
随机 变量 期 望 的 柯 西 - 施 瓦 兹 不 等 式 见 附录 F. 


G. 10 ”微分 


设 4 是 任意 非 零 矩 阵 ，x 和 vw 是 具有 适当 维 数 的 列 向 量 。 当 对 和 矩阵 或 向 量 计算 式 关于 
列 向 量 求 导 时 ， 以 下 结果 非常 有 用 : 


Br I. axe x xt v Vs Sx" x= 2x (G-65) 
eT AR 二 (A 十 AT)x = 2Ax (A WHERE) (G-66) 
Q yTAy = Ay, SFr = Ary (G-67) 

ox ov 
Say AT， OTA RA (G-68) 

ox Ox 

考虑 以 下 线性 方程 : 

Ax = y (G-69) 


如 果 方 阵 AER"N*" 是 满 秩 r 二 N， iZ ZU 839 EBR, E x=A y, KM, WRAC 
RY’NLKHHB, MON, 方程 组 超 定 (如 果 M 污 N，A 是 一 个 高 窄 和 矩阵 )。 对 于 这 种 情况 ， 
我 们 力求 减少 以 下 工 S 代价 函数 : 

&s 2 || Ax — y ||? = (Ax — y)! (Ax — y) = x'ATAX — x"A" y — yTAx + yl y 





(G-70) 
对 is T x 3: 4148 2 32 h K q O, AR 
2ATAxis —2A' y = 0 (G-71) 
LS # £ 
xis = (ATA) Ay (G-72) 
HH, AACR’ EHEHEH. PIBPALTLSRA, HE 
A’ &(ATA)"A (G-73) 
是 Moore-Penrose 广义 逆 。 < 
URR 考虑 下 面 的 约束 优化 问题 : 
x, = arg max[ x Ax + A(xte—c)] (G-74) 


其 中 是 拉 格 朗 日 乘 数 (不 要 与 特征 值 混 淆 )，x'c 二 c 是 x 上 的 线性 约束 ，e CARE. + 
AER’, N x，cERN。 对 该 表达 式 关 于 x 和 A RF, AR: 





2Ax, tAe = O,xie—c = 0 (G-75) 
(注意 ， 因 为 结果 刚好 是 约束 条 件 ， 通 常 不 必 关 于 和 人 求 时 。) < 
重新 排列 第 一 个 等 式 如 下 : 
x, =— Q, /2)A lc (G-76) 
该 表达 式 左 乘 | 并 利用 约束 条 件 ， 得 到 
c = cTx, =— (ho/2)c'A cA =— 2c/cTA lc (G-77) 
将 该 标量 代 人 式 (G-75) 的 第 一 个 等 式 ， 得 到 最 终 的 结果 : 
x = At (G-78) 


约束 条 件 里 的 标量 c 控制 x, 的 范 数 : 
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| x |? = aoa = ar (G-79) 
G11 复数 微分 
对 于 复数 矩阵 AE CY" ”> 和 适当 维 数 的 复数 列 向 量 x Av 
| 2y =I, = =0 (G-80) 


其 中 上 标 x* as RSH. BORER MRR A. APP MAN SMB RSM, MTs 
13 章 在 波束 合成 中 采用 的 梯度 基于 共 思 导数 。 下 式 给 出 了 复数 A、x、v 的 一 些 导数 : 





全 一 A a Be 
xe" x la hel yv = v, Sr" x = x, (G-81) 
-2 yay = Ax, —  xHAv = Av, >v" Ax = 0 (G-82) 
ox ox ox 
Darco, ~2-x"A=A (G-83) 
Ox Ox 


再 利用 复数 考虑 例 G-5 中 的 优化 问题 : 
Xo 一 arg max[ x" Ax + A` (x"e—c) +ACe4#x—c"* )] 
=arg max[ x" Ax + 2Re(A* (x"e—c)) ] (G-84) 


其 中 4 是 一 个 复 值 拉 格 朗 日 乘 数 。 对 这 个 表达 式 关于 x" 和 A" 微分， 并 利用 前 面 给 出 的 准 
M), h ` 





Axo Hàg e= 0, cjfx,—c=:0 (G-85) 
推导 的 其 余 步 骤 与 例 G-6 相同 : 
X, =— Ar A ce =—A* cA le (G-86) 
A 
+ Pom ey c* A le 
Ay =— c* /e'A c=>xo = Aor (G-87) 


它 与 实数 x 形式 类 似 。 
进一步 阅读 


本 附录 中 的 内 容 可 在 下 列 文献 中 进一步 研究 : Golub 和 Van Loan(1983), Haykin(1991), Kreyszig 
(1979), Laub(2005), Leon(1990), Schilling 和 Lee(1988), Strang(1976), 


X(t) * Y(t), X[k] * Y[#] 
X(t)* Y(t), X[k] * YER] 
X(s) 

X Cæ) 

Xlw) 

X (jw) 

X(w) 

XB) si CB 


a 
lal’ 


a 


AH 

AT! 

AT 

AH 

AT 

AB 

AG2B 

|a| 

AUB, A+B 


术 语 表 


大 写字 母 : 随机 变量 

小 写字 母 ; 随机 变量 X 的 输出 
随机 变量 X 的 绝对 值 

元 阶 统计 量 

X 的 估计 


误差 随机 变量 X — & 


加 粗 的 大 写字 母 : 随机 向 量 

加 粗 的 小 写字 母 : 随机 向 量 X 的 输出 
的 大 写 的 函数 : 随机 序列 
的 小 写 的 函数 : X[k&j] 的 现实 
t 的 大 写 的 函数 : 随机 过 程 

t 的 小 写 的 函数 : Xe APSE 
随机 过 程 的 导数 

k 的 加 粗大 写 函 数 ， 随机 向 量 序列 
k& 的 加 粗 小 写 函 数 ， X[kj] 的 现实 
t 的 加 粗大 写 函 数 : 随机 向 量 过 程 
上 的 加 粗 小 写 函 数 : X[ 相 的 现实 
(连续 ， 离 散 ) 卷 积 

(连续 ， 离 散 ) 确 定 的 互相 关 

拉 普 拉 斯 变换 

z 变换 

傅 里 叶 变 换 或 随机 变量 映射 
离散 时 间 传 里 叶 变 换 
随机 向 量 映射 

事件 BAY wR 

列 向 量 

平方 范 数 ara 

E tte 

行 向 量 

非 随 机 和 矩阵 

矩阵 的 转 置 

JE ME A FE Se BL 

E BE KG a 

B Pe j A 86 Et 

FE Eh WJ AH: a He BL 

穆 尔 - 彭 罗 斯 伪 道 

FRE 

克 罗 内 克 乘 积 

TEA 的 行列 式 

集合 的 并 
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ANB, AB 集合 的 交 
A—B, ANB 集合 的 差 
A®B 集合 的 异 或 
As, Á 集合 的 补 
AXB 集合 A AB 的 笛 卡 儿 积 
|A| 集合 A 的 基数 
La, b], [a, b), (a, b], (a, b) ”实数 及 的 间隔 子 集 
(a, =, b} 整数 Z 的 有 限 子 集 
g(x) 一 般 导数 
etx) n 阶 一 般 导 数 
gelaz) 偶 函 数 
go(z) ' 奇 函 数 
(") 二 项 式 系数 
< 
( g ) 多 项 式 系数 
XZ) + Has ys Bu 
z! 阶乘 
re 升 阶乘 
(x), 降 阶 乘 
一 般 符 号 
0 O 的 列 向 量 或 矩阵 
1 1 的 列 向 量 
a. n 阶 贝斯 数 ( 无 穷 集 的 势 ) 
co， 一 co 无 穷 大 符号 ( 非 实数 ) 
arg(s) , 复数 s 的 复 角 
arg minag (= ;0) g(z;0) 的 8 最 小 化 
arg max;g (z ;0) g(xz;0) 的 8 最 大 化 
B, 伯 努 利 数 
B(a,b) 贝塔 函数 
B, (a,b) 不 完全 贝塔 函数 
B;as 3dB 带宽 
Bye 噪声 等 效 带宽 
Brus 均 方 根 带宽 
Bi Lk] m 阶 反 向 预测 误差 
B) 参数 9 的 估计 器 的 偏差 或 一 个 天 线 阵 的 波束 形状 
ceil( z) 上 取 整 函数 
covLX,Y ] X 和 YY 的 协 方差 
cov[ X] 的 自 协 方差 矩阵 
c(t) 累积 量 母 函数 
cx 变异 系数 
Ç 康 托 尔 集 ， 每 个 符号 的 通道 容量 ,或 轮廓 积分 
(C,) 康 托 尔 集 的 集合 序列 
E 通道 容量 比率 
C(A) 集合 A 的 计数 测度 
C(:,0) 损失 函数 
Cxx +Cxy 自 协 方差 ， 互 协 方差 
Cxx (ti tz) ,Cxx [m , n] (连续 ， 离 散 ) 自 协 方差 函数 
Cxy (ti tz) , Cxy[m.n] (连续 ， 离 散 ) 互 协 方差 函数 


Cxx ,Cr 自 协 方差 矩阵 ， 互 协 方差 矩阵 


C 

det(4) 

d 

D(x) 
D(px | qx) 
D 

e 

er[( >) 
erfc( xz) 
erfi(z) 
exp(x) 

em 

E 

E, 

E(k] 
floor(x) 

f 

f, 

fx (z) 

fx.v (z, y) 
fx|v(z|>) 
F 

Fx (z) 

WC eo 
Fx.y (ayy) 
Fx = |y) 
Fe (z) 
{Fe (xz)} 
F, Lk] 

LF) (a;b;z) 
(g,(t)) 

Gx (t) 
GL] 

Hy» H, 
h(X) 
H(X) 

HY |X) 


H(w),H(f),H(s) 


H(jw), H(z) 
H,,(v) 
{H,T} 


Hr(f), Her(f) 


HLk] 
inf(a,b) 
i(t) 

iis) 

Ian 3 yn) 
I(X;Y) 
1(X;Y|Z) 
Itas (z) 


EXT AAS 1 Cx 
方 阵 4 的 行列 式 
均匀 线性 阵列 天 线 间 的 间距 
狄 里 克 雷 函数 
FE AR DI GE SE AB h BE 
对 角 方 阵 
自然 对 数 的 底 : 2.71828182845904523536…- 
误差 函数 
余 误差 函数 
虚 误 差 函 数 
指数 函数 ( 代 苦 er) 
m 阶 单位 向 量 
能 量 或 一 个 集合 
每 位 的 能 量 
误差 信号 
下 取 整 函数 
单位 为 Hz 的 频率 
单位 为 Hz 的 采样 频率 
概率 密度 函数 (pdf) 
联合 pdf 
条 件 pdf 
二 合集 全 
累积 分 布 函 数 (cdf) 
i cdf 

& cdf 
条 件 cdf 
康 托 尔 函 数 
康 托 尔 函数 的 函数 序列 
m 阶 前 向 预测 误差 
第 一 类 合流 超 几 何 函 数 
Gram-Schmidt 基 函 数 
概率 母 函数 
最 小 二 乘 增益 向 量 或 卡尔 曼 滤 波 器 的 增益 矩阵 
REE., B nME 
连续 变量 X a 
离散 变量 X YH 
HE Hi 
(连续 时 间 ) 传 递 函 数 
(离散 时 间 ) 传 递 函 数 
调和 数 
投掷 硬币 的 正面 ， 反 面 
发 送 ， 接 收 滤波 器 
Hessian 矩阵 
下 确 界 
电路 电流 
zw 的 自信 息 
x, 和， 的 互信 息 
平均 互信 息 
条 件 互信 息 
连续 变量 z 的 指示 函数 
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I. [=] 
L. (=) 

I, (a,b) 
I, 

Talis) 


KC 
I(x) 

L(x) 
ln(x) 

log, (x) 
Lila) 

L” 

L(A) 
L[k] 
LB(N) 

L 
min{z,y} 
max{z,y} 
m,n 

Me 

mo 

mx (t) 

Mx (t) 

N 

N /2 
o(x) 
Olz) 

p,q 
pxl] 
bx.y[z, y] 
px|r[Lz|y] 
P 

PCE) 
P(E|F) 
Px (x) 
Pxx + Pxy 
P; 

Pe aSa) 
P,(X<z) 
P(0) 

BS 

Pom 

b 

P 


离散 变量 zx 的 指示 函数 
第 一 类 改进 的 贝 塞 尔 函 数 
正则 不 完全 8 函数 
电流 源 

s 的 虚 部 

单位 矩阵 

=T 

第 一 类 贝 塞 尔 函 数 
雅 可 比 

雅 可 比 矩 阵 
离散 时 间 

第 二 类 贝 塞 尔 函 数 
似 然 函数 

对 数 似 然 函数 
自然 对 数 函 数 

以 a 为 底 的 对 数 函 数 
拉 盖 尔 多 项 式 

L” 范 数 

集合 A 的 勒 贝 格 测度 
随机 序列 的 似 然 比 
勒 贝 格 和 

下 三 角 或 下 移 矩 阵 
最 小 值 函 数 
最 大 值 函 数 

F 分 布 的 参数 

中 值 

众 数 

矩 母 函 数 

FE ty AE E BR A 
变量 的 数目 或 自由 度 
白 噪 声 的 功率 谱 密度 
小 o 符 号 

K OFS 
“成 功 ”概率 p 和 “失败 ”概率 g 会 1 一 p 
概率 质量 函数 (pmf) 

联合 pmf 

条 件 pmf 

+ (ti 的 功率 或 语音 的 音 高 
事件 五 的 概率 

条 件 概 率 

P(X 二 zx)( 不 是 pmf) 

XO) He, XOMYOHW BW 
平均 误差 概率 

绝对 连续 cdf 

奇异 cdf 

到 达 角 估计 函数 

马尔 可 夫 链 返回 状态 ”的 概率 
马尔 可 夫 链 的 条 件 概率 

马尔 可 夫 链 的 状态 概率 


元 素 为 {pw} 的 一 步 马尔 可 夫 链 的 状态 转移 矩阵 


PP 

Am 

qx[=] 

q 

Q 

Q(x) 

Qa (a ,b) 

ss 

To sri 912 

(RE L3G} 

K, 

R 
R(N),R I ON) Ru CN) 
RS 

RSCN) 

R(x) 

Rxx ,Rxy 

Rxx (ti tz) ,Rxx [m,n] 
Rxy Cti slo ) +Rxyl m,n] 
Rxx 

Ea 

rank[ A] 

rect(x) ,rect[ zx] 
Re(s) 
ResLX(Cz) , 力 ] 

s 

sgn(zx) 

sinc( z) 
stdev[ X] 
sup(a,b) 

Sax) 

Sxx (s) + Sxx (z) 
Skx (z) , Sxx (z) 
Skx (s), Sxx (s) 


Sxx (w) + Sxx CA »Sxx (jw) 


SRx (s) , Sky (z) 


Ses Cw) Ses (f) Ser (jw) 


S 
t 
trLA ] 


tri(x) 


TRH pom} AY Be GAR AY 3 GE BU AR AS FEB HE EE 
Bm 个 分 位 数 

用 于 库 尔 贝 克 - 莱 布 勒 发 散 量 的 pmf 
特征 向 量 

特征 向 量 和 矩阵 

Q 函数 

AK Q 函数 

一 般 形 状 参 数 ， 自 由 度 ， 半 径 ， 或 复数 的 幅度 
育 均 衡 算 法 的 增益 参数 

HHR, ERL, BFC 

最 大 似 然 信 和 号 检测 的 第 个 判决 域 
黎 曼 积分 或 风险 函数 

REA, FREARERSA 
Sy 5 Z R 

黎 曼 -斯 带 尔 切 斯 和 

斜坡 函数 

自 相 关 ， 互 相关 

(连续 ,离散 ) 自 相关 函数 

GER, /离散 ) 互 相关 函数 

随机 过 程 X(CD)X( 十 rz) 的 时 间 平 均 
HWX raat r) hmt E 
矩阵 4 的 秩 

GEE, BHO IE mh 

s 的 实 部 

对 XC) HIT A p 的 残 差 

E s REE: s==o 十 jw 

正 负 (或 符号 ) 函 数 

辛 格 函 数 

X 的 标准 差 

上 确 界 

Sa 函数 

(s 域 , z 域 ) 功 率 谱 密 度 

谱 因 式 分 解 : 极点 /零点 在 单位 圆 内 ， 在 单位 圆 外 
谱 因 式 分 解 : 极点 /零点 在 平面 的 左 半 区 ， 右 半 区 
(频率 域 ) 功 率 谱 密 度 

(s 域 ,= 域 ) 功 率 谱 分 布 
(频率 域 ) 功 率 谱 分 布 

样本 方差 

和 矩 和 累积 量 母 函数 的 连续 时 间或 变量 
矩阵 入 的 迹 

三 角 函 数 

参数 的 统计 值 /估计 值 或 时 间 长 度 
参数 向 量 的 统计 值 / 估 计 值 

脉冲 持续 时 间 

脉冲 时 间 间 隔 

采样 周期 

变量 X 的 方差 

单位 阶 牙 ( 赫 维 赛 德 ) 函数 

离散 单位 阶 既 ( 赫 维 赛 德 ) 函数 

上 三 角 或 上 移 位 矩阵 

变量 X 的 方差 
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V 维 塔 利 集 

Ww 单 边 带宽 

w 权重 矩阵 

Xpu Lk] X[k&j] 的 杜 布 - 迈 导 可 预测 分 量 

Xus[Lk] X[&j] 的 均 方 可 预测 分 量 

X(t) 基带 信号 

X(t), XQ(t) 同 相 与 正 交 基带 分 量 

X,() 量化 信号 

x 采样 平均 值 

x" 第 n 时 刻 采 样 值 

z 复 z 域 变量 : z=rexpljw) 

g j 延迟 算 子 : z 'z[k]==[k—1] 

希腊 符号 

a pdf 尺度 参数 或 算法 的 步骤 参数 

ar 1 一 a. 二 置信 度 ( 置 信 区 间 ) 

a, (假设 检验 中 的 ) 显 著 性 水 平 

iin 恒 模 阵列 增益 系数 

B 贝塔 分 布 的 位 置 、 缩 放 、 形 状 参数 ， 最 小 均 方 算法 的 “泄露 ” 因 
子 ， 或 升 余弦 脉冲 的 滚 降 系数 

恒 模 阵列 移 位 因子 

y i Euler-Mascheroni 常量 : 0. 57721566490153286060…， 

n 偏 态 

y: 峰 度 (过 载 ) 

y(a,b) 下 不 完全 伽 马 函 数 

Ix, m 阶 反射 系数 

T(x) 伽 马 函数 

T(a,b) 上 不 完全 伽 马 函数 

6 正 值 小 量 

d(x) d(x — y) (zy) 狄 拉克 delta 函数 

dLm],dLm—n] EF A ge delta PR 3 

ò. (A) 集合 A 的 狄 拉克 测度 

A 矩阵 行列 式 或 量化 间隔 

Au 采样 值 中 一 致 对 的 数量 与 非 一 致 对 的 数量 之 差 

At BIB] fia] Bc /E 

AN 时 间 间 隔 Ce — ta) / N 

AX[k] 差分 序列 X[k] 一 X[k 一 1] 

V 和 斜率 

VLR] 斜率 向 量 

E 非常 小 的 正 值 

ia 随机 过 程 采样 空间 S 中 的 元 素 

gcs) RD zeta 函数 

7 最 小 均 方 算 法 的 “泄露 ”因子 ， 似 然 比 检验 的 门限 ， 或 归 一 化 最 
小 均 方 算法 的 参数 

0 L 参数 或 角 

0 参数 向 量 

Ks n 阶 累积 量 

À 特征 值 ， 波 长 ， 拉 格 朗 日 乘 子 ，pdf 位 置 /缩放 参数 ， 或 遗忘 因子 

A(z) 三 角 函 数 ， 似 然 比 检验 

a 拉 格 朗 日 乘 子 向 量 


A. 平方 对 角 矩 阵 


(元 (1)，… CN)} 


- 


3 


Q Q Q I 
a nN 

Q 

© 


|. |> M 


XN 
2 


YN 
W(a;br) 


集合 A 的 测度 

上 律 量化 器 的 均值 或 参数 

n 阶 原点 和 矩 

n BYP aD ie 

n 阶 标准 化 中 心 矩 

随机 过 程 X(z) 的 时 间 平 均 
BRIE ax Ce) BY Bf fi] SE BY 

代价 函数 

3. 14159265358979323846--- 
(lyes N) 的 置换 


对 下 标 n RER 


相关 系数 

采样 相关 系数 
标准 差 或 复数 s 的 实 部 
方差 

集合 9 的 sigma b 

XJ fB SE E 

Xt F bs n $R A 


时 间 间 隔 tj 一 或 时 间 常 量 
肯 德 尔 等 级 相关 系数 

斯 皮尔 曼 等 级 相关 系数 
复数 量 的 相位 或 空 集 
KABA DY HEE wR BW 
(连续 pdf 的 ) 特 征 函 数 
(离散 pmi 的 ) 特 征 函数 

(N 级 自由 度 )chi 随机 变量 
(N 级 自由 度 ) 卡 方 随 机 变量 
第 二 类 合流 超 几 何 函 数 

2 的 元 素 或 角 频 率 (角度 / 秒 ) 
采样 角 频 率 ( 角 度 / 秒 ) 
随机 变量 的 采样 空间 


域 元 素 的 集合 

博 雷 尔 o BË 

复数 域 

X 的 期 望 值 

条 件 期 望 值 

JEF Y 的 pdf 的 期 望 值 
Sa BK o Sal 

o 域 的 生成 元 
费 炊 尔 信息 
BA fei PE 
最 小 均 方 算法 的 失调 
自然 数 集 {1] ，2，…} 
集合 WHER 

有 理 数 域 

实数 域 ( 一 2， co) 
非 负 实数 集 [0，oo) 
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Ë 
in 


非 正 实数 集 (一 co，0] 


N X 1 实数 向 量 


MX N 实数 矩阵 


随机 过 程 的 采样 空间 


时 间 点 集合 


整数 集 {*…， 一 25 —1, 0, 1, 2, == 


非 负 整数 集 {0， 


dE IE BE 


Ly 2, 


=ils 0} 


频 域 变换 为 或 替换 为 


几乎 必然 收敛 于 


Heat Ai F 
依 均 值 收敛 于 
依 均 方 收敛 于 
HE F 
必然 收敛 于 


按 志 分 布 或 与 … 


可 导出 


自 回归 滑动 平均 


振幅 相 移 键 控 


加 性 高 斯 白 噪声 


误 比 特 率 


相似 


最 佳 线性 无 偏 
二 进 制 相 移 键 控 
二 元 对 称 信道 
特征 函数 
累积 量 母 函数 


HH Ü 8 Bp pa BC 
克拉 美 罗 下 限 

at 

直接 判决 
微分 方程 或 差分 方程 
测 向 
离散 傅 里 叶 变 换 
杜 布 - 梅 耶 
离散 时 间 傅 里 叶 变换 
期 望 最 大 化 

华氏 
快速 传 里 叶 变 换 

有 限 冲 激 响应 

频率 调制 
阶乘 矩 母 函 数 

强迫 响应 

频 移 键 控 


无 限 冲 激 响 应 
码 间 干扰 

FEAR UL si SE Ai Bh 
卡 夫 南 - 勒 夫 扩展 
莱 文 森 - 杜 宾 

四 阶 最 小 二 乘 均值 
最 小 均 方 

视线 

线性 预测 码 
低 通 滤波 器 
似 然 比 检验 
最 小 二 乘法 
线性 时 不 变 
滑动 平均 

平均 绝对 误差 
最 大 后 验 

匹配 滤波 器 

矩 生成 函数 

多 输入 单 输 出 
最 大 似 然 

最 小 均 方 误差 
HEA 

四 次 平均 
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四 次 平均 误差 

均 方 

均 方 误差 

最 小 方差 无 失真 响应 
多 信号 分 类 

最 小 方差 无 偏 估计 
等 效 杂 波 

归 一 化 最 小 均 方 算法 
牛顿 法 

自然 响应 
RETEN 

脉冲 幅度 调制 
主 成 分 分 析 
脉 码 调制 
主 成 分 回归 

正定 

部 分 分 式 展开 
概率 母 函 数 

锁 相 环 

伪 随 机 噪声 或 伪 随 机 数 
功率 谱 密 度 或 半 正 定 
相 移 键 控 

正 交 幅 度 调制 

正 交 相 移 键 控 

罗 - 布 莱克 威 尔 
HRI 

电路 : 电阻 R， BRL, HAC 
递归 最 小 二 乘法 

均 方 根 

收敛 域 

最 速 下 降 

信和 号 与 干扰 加 噪声 之 比 
单 输入 单 输出 

信 噪 比 

感 兴趣 的 信号 

信和 号 量化 噪声 比 
FRR 

抽 头 延迟 线 

均匀 线 阵 

一 致 最 小 方差 无 偏 
伏特 

清音 /浊音 

加 权 最 小 二 乘法 
ie 
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